[go: up one dir, main page]

KR102272366B1 - 위상 정보 추출과 입체 영상 구성 방법 및 장치 - Google Patents

위상 정보 추출과 입체 영상 구성 방법 및 장치 Download PDF

Info

Publication number
KR102272366B1
KR102272366B1 KR1020200008497A KR20200008497A KR102272366B1 KR 102272366 B1 KR102272366 B1 KR 102272366B1 KR 1020200008497 A KR1020200008497 A KR 1020200008497A KR 20200008497 A KR20200008497 A KR 20200008497A KR 102272366 B1 KR102272366 B1 KR 102272366B1
Authority
KR
South Korea
Prior art keywords
specimen
image
phase information
angle
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200008497A
Other languages
English (en)
Inventor
박용근
백윤석
Original Assignee
주식회사 토모큐브
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토모큐브, 한국과학기술원 filed Critical 주식회사 토모큐브
Priority to KR1020200008497A priority Critical patent/KR102272366B1/ko
Priority to EP20189766.7A priority patent/EP3855252B1/en
Application granted granted Critical
Publication of KR102272366B1 publication Critical patent/KR102272366B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/4133—Refractometers, e.g. differential
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4788—Diffraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4795—Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/50—Optics for phase object visualisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N2015/0042—Investigating dispersion of solids
    • G01N2015/0046—Investigating dispersion of solids in gas, e.g. smoke
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178—Methods for obtaining spatial resolution of the property being measured
    • G01N2021/1785—Three dimensional
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178—Methods for obtaining spatial resolution of the property being measured
    • G01N2021/1785—Three dimensional
    • G01N2021/1787—Tomographic, i.e. computerised reconstruction from projective measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N2021/4173—Phase distribution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/067—Electro-optic, magneto-optic, acousto-optic elements
    • G01N2201/0675—SLM

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Dispersion Chemistry (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

위상 정보 추출과 입체 영상 구성 방법 및 장치가 제시된다. 일 실시예에 따른 위상 정보 추출과 입체 영상 구성 방법은, 광 신호 측정 장치를 이용하여 시편을 통과한 빛의 세기 영상을 측정하는 단계; 및 측정된 상기 영상에 크라머스 크로니히의 관계식(Kramers-Kronig relations)을 적용하여 상기 시편의 광학 위상 정보를 추출하는 단계를 포함하고, 상기 시편의 위상 정보 추출과 상기 위상 정보를 바탕으로 입체 영상을 구성할 수 있다.

Description

위상 정보 추출과 입체 영상 구성 방법 및 장치{METHOD AND APPARATUS FOR THE PHASE RETRIEVAL AND VOLUMETRIC IMAGING RECONSTRUCTION}
아래의 실시예들은 위상 정보 추출과 입체 영상 구성 방법 및 장치에 관한 것으로, 더욱 상세하게는 시편의 위상 정보 추출과 그 위상 정보를 바탕으로 입체 영상을 구성하는 방법 및 장치에 관한 것이다.
X-ray, 자외선, 가시광선, 적외선을 영역에 해당하는 전자기파 대역에서 시편의 발생한 위상(phase) 정보의 측정과 이를 바탕으로 한 입체 영상 구성은 시편을 분석하는 데에 중요한 정보를 준다. 예를 들면, 레이저와 같이 간섭성(coherency)이 좋은 가시광선 대 광원을 생물학적 시편에 입사하면, 시편의 굴절률 분포에 따라 광학 위상(optical phase) 지연이 발생한다. 기존에는 인-라인 홀로그래피(in-line holography) 또는 축-외 홀로그래피(off-axis holography)와 같은 기술을 이용하여 빛의 간섭을 일으키고, 간섭 무늬(interference pattern) 또는 홀로그램(hologram)을 이미지 센서로 측정하여 시편의 위상 정보를 추출했다. 또한, 다양한 각도에서 추출한 여러 개의 2차원 위상 정보 영상을 합성하면 3차원 굴절률 정보를 바탕으로 입체 영상 구성이 가능하다.
하지만 기존 기술의 문제점은 간섭 무늬 또는 홀로그램을 측정하기 위해서 간섭계가 복잡하거나 위상 정보 추출 알고리즘이 특정한 가정을 사용해야 한다. 예를 들면, 인-라인 홀로그래피(in-line holography) 방식은 시편에서 발상하는 고주파 성분(high spatial frequency) 추출이 어렵고, 위상 정보를 추출하기 위해서 반복적인 연산이 필요한 알고리즘을 사용하기 때문에 추출 시간이 길며, 샘플에 따라는 정확한 위상 정보 추출이 어렵거나 불가능한 경우도 있다. 다른 예로, 축-외 홀로그래피(off-axis holography) 방식은 고주파 성분 추출이 쉽고, 위상 정보 추출을 위한 알고리즘이 샘플의 영향을 거의 받지 않는다는 장점이 있다. 하지만, 참조광(reference beam)을 반드시 사용해야 하는 단점으로 인해 측정 장비의 구성이 복잡해지고, 외부 진동 등에 민감하게 반응하는 문제점이 있다. 또한, 기존 간섭계 또는 홀로그래피 방식은 일반적으로 간섭성이 좋은 광원을 사용하게 되는데, 그러나 그러한 간섭성으로 인해 측정 장비의 광 경로(optical path) 내의 먼지나 광학 부품의 미세한 진동 또는 원하지 않게 발생하는 반사 신호 역시 동시에 간섭계를 통해 측정되고, 이 신호들이 잡음으로 처리가 되어 정밀한 위상의 측정을 방해하여 왔다.
한국등록특허 10-1888924호
실시예들은 위상 정보 추출과 입체 영상 구성 방법 및 장치에 관하여 기술하며, 보다 구체적으로 비간섭성 광원을 이용할 수 있으며, 일반적인 광학 영상 장치에서 시편의 광학 위상 정보를 정량적으로 측정 가능한 기술을 제공한다.
또한, 실시예들은 비간섭성 광 회절 단층 촬영을 위한 고속 입사각 스캐닝 장치를 통해 비간섭성 빛을 활용한 고속 광 회절 단층 촬영을 가능하게 하며, 기존에 간섭성 잡음으로 인해 유발하는 신호 대 잡음 비의 저하나 영상 처리과정에서 생기는 인위적인 결과들을 해결할 수 있는 위상 정보 추출과 입체 영상 구성 방법 및 장치를 제공하는데 있다.
일 실시예에 따른 위상 정보 추출과 입체 영상 구성 방법은, 광 신호 측정 장치를 이용하여 시편을 통과한 빛의 세기 영상을 측정하는 단계; 및 측정된 상기 영상에 크라머스 크로니히의 관계식(Kramers-Kronig relations)을 적용하여 상기 시편의 광학 위상 정보를 추출하는 단계를 포함하고, 상기 시편의 위상 정보 추출과 상기 위상 정보를 바탕으로 입체 영상을 구성할 수 있다.
입사광과 광축과의 각도를 유지하면서 상기 입사광의 각도를 방위각의(azimuthal) 방향으로 스캐닝하여 다양한 입사각에 따른 상기 시편의 2차원 위상 영상을 측정하는 단계를 더 포함하고, 복수 개의 상기 2차원 위상 영상들을 통해 3차원 입체 영상을 구성할 수 있다.
측정된 상기 2차원 위상 영상들을 역산란(inverse scattering)을 이용하여 3차원 굴절률 입체 영상을 구성하는 단계를 더 포함할 수 있다.
미생물, 세포, 조직, 박막, 나노포토닉, 광섬유, 마이크로 입자 및 미세먼지 중 적어도 어느 하나 이상의 미세 시편의 2차원 위상 영상 또는 3차원 굴절률 입체 영상을 측정할 수 있다.
다양한 입사각에 따른 상기 시편의 2차원 위상 영상을 측정하기 위해, 입사각의 고속 변조가 가능한 형태의 고속 입사각 스캐닝 장치를 이용하여 입사광의 각도를 변조하는 단계를 더 포함할 수 있다.
상기 고속 입사각 스캐닝 장치를 이용하여 입사광의 각도를 변조하는 단계는, 공간 광 변조기(Spatial Light Modulator, SLM)를 통해 반사 표면의 구조를 변화시켜 일어나는 회절의 형태로 빛의 각도를 변조하는 회절형 각도 변조(diffractive tilting) 방식을 통해 상기 입사광의 각도를 변조할 수 있다.
다른 실시예에 따른 위상 정보 추출과 입체 영상 구성 장치는, 광 신호 측정 장치를 이용하여 시편을 통과한 빛의 세기 영상을 측정하는 영상 측정부; 및 측정된 상기 영상에 크라머스 크로니히의 관계식(Kramers-Kronig relations)을 적용하여 상기 시편의 광학 위상 정보를 추출하는 위상 정보 추출부를 포함하고, 상기 시편의 위상 정보 추출과 상기 위상 정보를 바탕으로 입체 영상을 구성할 수 있다.
상기 영상 측정부는, 입사광과 광축과의 각도를 유지하면서 상기 입사광의 각도를 방위각의(azimuthal) 방향으로 스캐닝하여 다양한 입사각에 따른 상기 시편의 2차원 위상 영상을 측정하고, 복수 개의 상기 2차원 위상 영상들을 통해 3차원 입체 영상을 구성할 수 있다.
상기 영상 측정부는, 측정된 상기 2차원 위상 영상들을 역산란(inverse scattering)을 이용하여 3차원 굴절률 입체 영상을 구성할 수 있다.
다양한 입사각에 따른 상기 시편의 2차원 위상 영상을 측정하기 위해, 입사광의 각도를 변조하는 고속 입사각 스캐닝 장치를 더 포함할 수 있다.
실시예들에 따르면 레이저와 같은 간섭성이 좋은 광원뿐만 아니라, 비간섭성 광원을 이용할 수 있으며, 기존의 복잡한 간섭계를 구축할 필요 없이 일반적인 광학 영상 장치에서 시편의 광학 위상 정보를 정량적으로 측정 가능한 위상 정보 추출과 입체 영상 구성 방법 및 장치를 제공할 수 있다.
또한, 실시예들에 따르면 비간섭성 광 회절 단층 촬영을 위한 고속 입사각 스캐닝 장치를 통해 비간섭성 빛을 활용한 고속 광 회절 단층 촬영을 가능하게 하며, 기존에 간섭성 잡음으로 인해 유발하는 신호 대 잡음 비의 저하나 영상 처리과정에서 생기는 인위적인 결과들을 해결할 수 있는 위상 정보 추출과 입체 영상 구성 방법 및 장치를 제공할 수 있다.
도 1a는 일 실시예에 따른 위상 정보 추출과 입체 영상 구성 장치를 설명하기 위한 도면이다.
도 1b는 일 실시예에 따른 시편의 위상 정보를 추출하는 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 3차원 입체 영상을 구성하는 방법을 설명하기 위한 도면이다.
도 3a는 일 실시예에 따른 투과형 광학 시스템을 나타내는 도면이다.
도 3b는 일 실시예에 따른 반사형 광학 시스템을 나타내는 도면이다.
도 4a는 일 실시예에 따른 입사광을 렌즈 없이 시편에 입사시키는 투과형 구조를 나타내는 도면이다.
도 4b는 일 실시예에 따른 입사광을 렌즈를 이용하여 시편에 입사시키는 투과형 구조를 나타내는 도면이다.
도 4c는 일 실시예에 따른 입사광 및 반사광을 하나의 렌즈를 이용하여 반사시키는 반사형 구조를 나타내는 도면이다.
도 4d는 일 실시예에 따른 입사광 및 반사광을 별도의 렌즈를 이용하여 반사시키는 반사형 구조를 나타내는 도면이다.
도 5는 일 실시예에 따른 고속 입사각 스캐닝 방법을 나타내는 도면이다.
도 6은 일 실시예에 따른 고속 입사각 스캐닝 장치를 나타내는 도면이다.
도 7은 일 실시예에 따른 공간 광 변조기를 통해 빛의 각도를 변조하는 회절형 각도 변조 방식을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 4F 시스템을 설명하기 위한 도면이다.
도 9a는 일 실시예에 따른 시편 평면의 켤레 평면에 광학 격자가 위치하는 DMD의 분광 효과를 설명하기 위한 도면이다.
도 9b는 일 실시예에 따른 DMD의 바로 앞이나 뒤에 위치하는 광학 격자가 위치하는 광학 격자의 분광 효과를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 fSLM를 사용한 비간섭성 빛의 회절형 각도 변조를 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 8비트의 경우의 예시를 나타내는 도면이다.
도 12는 일 실시예에 따른 DMD의 구조화 조명을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 fSLM의 구조화 조명을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 위상 정보 추출과 입체 영상 구성 장치를 나타내는 블록도이다.
도 15는 일 실시예에 따른 위상 정보 추출과 입체 영상 구성 방법을 나타내는 흐름도이다.
도 16은 일 실시예에 따른 실제 측정한 위상 정보 영상을 나타내는 도면이다.
도 17은 일 실시예에 따른 실제 측정한 입체 영상을 나타내는 도면이다.
도 18은 일 실시예에 따른 3차원 굴절률 정보를 측정한 영상을 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
아래의 실시예들은 시편의 위상 정보 추출과 그 위상 정보를 바탕으로 입체 영상을 구성하는 원리와 이를 구현하기 위한 방법을 제공한다. 실시예들은 간단한 이미징 시스템과 저간섭성(low coherence)을 보이는 일반적인 광원(e.g. Light emitting diode(LED), laser diode, superluminescence LED, fluorescence lamp, xenon lamp, tungsten lamp 등)을 이용하여 미세 시편의 2차원 또는 3차원 영상을 측정할 수 있다.
이를 통해 다음을 포함하는 응용 예가 가능하다. 실시예들에 따르면 미생물, 세포, 조직 등과 같은 시편의 2차원 위상 영상 또는 3차원 굴절률 영상을 측정할 수 있다. 또한, 실시예들에 따르면 박막, 나노포토닉, 광섬유, 마이크로 입자, 미세먼지 등 수백 나노미터에서 수십 마이크로 미터의 특징(feature)을 가지며, 시편의 크기가 수 마이크로미터부터 수 미터에 달하는 시편의 내부 구조와 굴절률을 측정하고 분석하여 검사할 수 있다.
실시예들은 물리학에서 과거의 정보가 미래를 결정하는 인과 관계(causality)를 바탕으로 한 크라머스 크로니히의 관계식(Kramers-Kronig relations)을 적용하여 광원의 간섭성이나 참조광의 사용 없이 시편의 위상 정보를 추출할 수 있다. 크라머스 크로니히의 관계식(Kramers-Kronig relations)은 다음 식과 같이 나타낼 수 있다.
[수학식 1]
Figure 112020007510841-pat00001
구체적으로, 수학식 1을 전기장(Electric field) E에 적용하여 다음 식들과 같이 표현할 수 있다.
[수학식 2]
Figure 112020007510841-pat00002
[수학식 3]
Figure 112020007510841-pat00003
이어서, 시편의 자화율(susceptibility)
Figure 112020007510841-pat00004
가 다음 두 조건을 만족하면, 다음 식과 같이 표현할 수 있다.
우선, 입사각은 동함수 (pupil function)가 허용하는 최대 공간 주파수를 갖는다. 둘째, 산란되지 않은 빛은 산란된 빛보다 강하다(First, kinc is the cutoff angular frequency of a pupil function. Second, un-scattered light is stronger than scattered light).
조건 1. 첫 번째 조건은
Figure 112020007510841-pat00005
가 양의 공간 주파수 성분만을 가지도록 한다. 이러한 비대칭적 공간 주파수 분포는 수학적으로 시간의 인과관계로 해석 되며 Kramers-Kronig 관계의 필수 조건이 된다(The first condition ensures that the Fourier spectrum of
Figure 112020007510841-pat00006
vanishes in the negative domain of a transverse wave vector. The asymmetric Fourier spectrum indicates the analyticity in the upper half-plane because it is treated as the causality if the wave vector is replaced with time, and the causality and the analyticity are interchangeable for the Kramers-Kronig relations).
조건 2. 두 번째 조건은
Figure 112020007510841-pat00007
의 평방 적분 가능성에 대한 것으로, 다수의 Born 또는 Rytov 산란으로 해석될 수 있다(보충 정보 참조).
Figure 112020007510841-pat00008
의 구성요소
Figure 112020007510841-pat00009
에 수학식 1을 적용함으로써, 전기장 E는 다음과 같이 표현될 수 있다(The second condition is for the square-integrability of
Figure 112020007510841-pat00010
, which can be interpreted as multiple Born or Rytov scattering(see Supplementary Information). By applying equation(1) to the
Figure 112020007510841-pat00011
component of
Figure 112020007510841-pat00012
, the electric field E is expressed as).
[수학식 4]
Figure 112020007510841-pat00013
여기서,
Figure 112020007510841-pat00014
, 그리고
Figure 112020007510841-pat00015
이다.
이에 따라 시편의 전기장(Electric field) E를 측정할 수 있다는 결론에 도달할 수 있다.
도 1a는 일 실시예에 따른 위상 정보 추출과 입체 영상 구성 장치를 설명하기 위한 도면이다. 그리고 도 1b는 일 실시예에 따른 시편의 위상 정보를 추출하는 방법을 설명하기 위한 도면이다.
조건 1을 만족하기 위해서는 시편에 입사하는 빛의 각도, 또는 공간 주파수가 이미징에서 허용되는 최대 각도에 해당하도록 입사각을 설정해 주어야 한다. 이를 구현하기 위해서는, 도 1a에 도시된 바와 같이, 위상 정보 추출과 입체 영상 구성 장치는 광원(l)의 입사각이 광축(optical axis)에서 최대가 되게 하면서, 동시에 입사각에 해당하는 공간 주파수는 허용이 되도록 제작해야 한다. 위상 정보 추출과 입체 영상 구성 장치는 광 신호 측정 장치에 포함되거나 광 신호 측정 장치를 포함할 수 있다.
여기서, 위상 정보 추출과 입체 영상 구성 장치는 오브젝트(object, 110)와 검출기(detector, 130) 사이에 복수의 렌즈(120)가 구성되고, 복수의 렌즈(120) 사이에 아이리스(iris, 140)가 구성될 수 있다. 한편, 아이리스(iris, 140)는 생략될 수 있다.
조건 2를 만족하기 위해 시편에 광원을 조사하였을 때 시편을 통과하는 빛의 세기가 입사한 광원의 세기에 비해 최소 1% 이상이 되고, 이 빛의 크기가 광학 측정부에 도달하여야 한다. 그리고 동시에 시편 내부에서 빛의 산란 정도가 크지 않아야 하는데, 구체적으로는 시편의 최대 두께가 시편 내 물질의 산란 평균 자유 행정(scattering mean free path)의 10배에 해당하는 길이보다는 작아야 한다.
위 두 조건(조건 1 및 조건 2)을 만족하는 광 신호 측정 장치를 이용해서 시편을 통과한 빛의 세기 영상을 측정하면, 도 1b의 위쪽에 도시된 바와 같은, 영상을 측정할 수 있다. 여기에 수학식 1 내지 수학식 4로 정리된 본 실시예에서 제안하는 원리를 적용하면, 도 1b의 아래쪽에 도시된 바와 같이, 시편의 위상 정보를 정량적으로 추출 가능하다.
도 2는 일 실시예에 따른 3차원 입체 영상을 구성하는 방법을 설명하기 위한 도면이다.
또한, 위에서 기술한 방법을 이용하여, 입사광의 각도를 다양하게 바꾸어서 여러 장의 2차원 위상 영상을 측정하면 3차원 입체 영상을 구성할 수 있다. 도 2에 도시된 바와 같이, 입사광과 광축과의 각도는 유지하면서 입사광의 각도를 방위각의(azimuthal) 방향으로 스캐닝을 해주면, 다양한 입사각에 따른 시편의 2차원 위상 영상을 측정할 수 있다. 이 때 아이리스(iris, 240)를 따라 입사광의 각도를 방위각의 방향으로 스캐닝할 수 있다. 이렇게 측정된 위상 영상 이미지들을 역산란(inverse scattering)을 이용해서 3차원 굴절률 입체 영상을 구성할 수 있다.
구체적으로는 푸리에 슬라이스 정리(Fourier slice theorem) 또는 푸리에 회절 정리(Fourier diffraction theorem)를 이용하여, 각각의 입사각에서 측정한 2차원 위상 영상 정보를 3차원 푸리에(Fourier) 공간상에서 매핑(mapping)해주고, 이를 역 푸리에 변환(inverse Fourier transformation)하면, 3차원 복합 굴절률(complex refractive index) 입체 영상으로 복원 가능하다.
도 3a는 일 실시예에 따른 투과형 광학 시스템을 나타내는 도면이다. 도 3b는 일 실시예에 따른 반사형 광학 시스템을 나타내는 도면이다.
도 3a 및 도 3b를 참조하면, 광학 시스템은 크게 광원, 각도 제어부, 시편부 및 이미징 측정부를 포함하여 이루어질 수 있다. 광학 시스템은 용도에 따라 도 3a에 도시된 바와 같이 투과형 광학 시스템 또는 도 3b에 도시된 바와 같이 반사형 광학 시스템으로 제작할 수 있다.
이러한 광학 시스템은 광원으로부터 조사되는 빛을 각도 제어부를 통해 조절하고, 렌즈 L1(301) 및 미러(302)를 통해 시편부의 집광 렌즈(303)로 안내할 수 있다. 이 때 시편부는 집광 렌즈(303) 및 대물 렌즈(304) 사이에 측정 대상인 시편이 배치될 수 있다. 이에 따라 광원에서 조사되는 빛을 각도 제어부를 통해 조절하고, 집광 렌즈(303)와 대물 렌즈(304) 사이에 배치된 시편을 통과시켜 카메라 등의 이미지 측정부를 이용하여 영상을 측정할 수 있다. 이 때 대물 렌즈(304)를 통과한 빛을 렌즈 L2(305) 및 미러(306)를 이용하여 위상 정보 추출과 입체 영상 구성 장치로 안내할 수 있다. 위상 정보 추출과 입체 영상 구성 장치는 복수의 렌즈인 L3(307) 및 L4(309) 사이에 아이리스(iris, 308)가 구성될 수 있고, 필터(311)를 통해 카메라로 안내될 수 있다. 여기서, 아이리스(iris, 308) 및 필터(311)는 생략될 수 있다.
광원은 일반적인 광원의 사용이 가능하다. 저간섭성(low coherence)을 특성을 보이는 광원들(e.g. Light Emitting Diode(LED), laser diode, superluminescence LED, micro LED, fluorescence lamp, xenon lamp, tungsten lamp 등)뿐만 아니라, 높은 간섭성을 보이는 레이저에서도 본 실시예들의 원리는 작동할 수 있다. 광원의 중심 파장은 100 nm 이상 2 um 이하이다. 광원의 발광 형태는 연속파(continuous wave) 또는 펄스파(pulsed wave)를 포함한 임의의 시간적인 발광 형태에서도 작동할 수 있다.
각도 제어부는 광원에서 나온 빛을 정밀하게 제어하여 시편에 입사되는 각도를 조절할 수 있다. 각도 제어부의 구현 예로 다음과 같은 장치들을 이용할 수 있다. 거울을 부착한 회전기구, Galvanometric 미러(mirror), MEMS 미러(mirror), 압전 빔 편향기(Piezoelectric beam deflector), DMD를 사용한 빔 제어(beam control using a digital micromirror device), 변형 미러(deformable mirror), 공간 광 변조기(spatial light modulator) 등과 같은 장치들을 이용할 수 있다.
또한, 광원과 각도 제어부를 하나의 장치로 구현하는 것도 가능하다. 예를 들면, LED 어레이(array) 또는 마이크로(micro) LED 어레이 등을 사용할 수 있다.
시편부는 시편에 입사되는 각도를 크게 해주기 위해, 렌즈 또는 큰 개구수(Numerical Aperture, NA) 값을 가지는 대물 렌즈(objective lens)를 사용할 수 있다. 투과형 또는 반사형 여부, 대물 렌즈 사용 여부에 따라 구체적인 적용에는 다양하게 구현할 수 있다. 예를 들면 다음과 같이 구현이 가능하다.
도 4a는 일 실시예에 따른 입사광을 렌즈 없이 시편에 입사시키는 투과형 구조를 나타내는 도면이고, 도 4b는 일 실시예에 따른 입사광을 렌즈를 이용하여 시편에 입사시키는 투과형 구조를 나타내는 도면이다. 또한 도 4c는 일 실시예에 따른 입사광 및 반사광을 하나의 렌즈를 이용하여 반사시키는 반사형 구조를 나타내는 도면이고, 도 4d는 일 실시예에 따른 입사광 및 반사광을 별도의 렌즈를 이용하여 반사시키는 반사형 구조를 나타내는 도면이다.
도 4a에 도시된 바와 같이, 광원인 입사광을 렌즈 없이 시편에 입사시키고, 산란된 빛을 렌즈로 획득하는 투과형 구조를 구현할 수 있고, 도 4b에 도시된 바와 같이, 입사광을 렌즈를 통해 시편에 입사시키고, 산란광을 다른 렌즈를 이용해서 획득하는 투과형 구조를 구현할 수 있다. 또한, 도 4c에 도시된 바와 같이, 입사광과 반사광을 하나의 렌즈를 이용하여 반사시키는 반사형 구조를 구현할 수 있고, 도 4d에 도시된 바와 같이, Mirau 렌즈(lens) 또는 간섭측정의 대물 렌즈(interferometric objective lens)를 이용하여 반사시키는 반사형 구조를 구현할 수 있다. 여기서, 도 4c에서는 시편에서 산란되는 산란광과 시편을 올려두는 슬라이드(slide) 표면에서의 반사광을 이용하여 위상 신호를 측정할 수 있다. 반면, 도 4d에서는 시편에서 산란되는 산란광과 렌즈 내부에서 반사되는 반사광을 이용하여 위상 신호를 측정할 수 있다.
이미지 측정부는 CCD(Charge Coupled Device), 과학적(scientific) CCD, CMOS(Complementary Metal-Oxide Semiconductor) 센서(sensor) 등을 이용한 이미지 센서를 이용하여 광학 강도 이미지(intensity image)를 측정할 수 있다.
실시예들은 레이저와 같은 간섭성이 좋은 광원뿐만 아니라, 비간섭성 광원을 이용할 수 있으며, 기존의 복잡한 간섭계를 구축할 필요 없이 일반적인 광학 영상 장치에서 시편의 광학 위상 정보를 정량적으로 측정 가능하게 한다.
아래에서는 비간섭성 광 회절 단층 촬영을 위한 고속 입사각 스캐닝 방법 및 장치에 대해 설명한다. 비간섭성 광 회절 단층 촬영을 위한 고속 입사각 스캐닝 방법 및 장치는 비간섭성 빛을 활용한 고속 광 회절 단층 촬영을 가능하게 하며, 기존에 간섭성 잡음으로 인해 유발하는 신호 대 잡음비의 영상 처리 과정에서 생기는 인위적인 결과들을 해결할 수 있을 것으로 기대된다.
일 실시예에 따르면 기존 사용되던 반사형 각도 변조(reflective tilting) 방식의 한계점을 극복하기 위해, 다양한 공간 광 변조기를 통한 회절형 각도 변조(diffractive tilting) 방식을 활용한 입사각 스캐닝 장치를 제안하며, 이를 통해 비간섭성 빛을 사용한 경우에도 입사각에 관계없이 시편 위에서의 간섭무늬를 유지할 수 있다. 실시예들은 또한 서로 다른 입사각에서 측정한 정량 위상 이미지가 여러 장 필요한 광 회절 단층 영상(Optical Diffraction Tomography, ODT)의 특성상, 고속 변조가 가능한 형태의 입사각 스캐닝 장치를 제안한다.
도 5는 일 실시예에 따른 고속 입사각 스캐닝 방법을 나타내는 도면이다.
도 5를 참조하면, 일 실시예에 따른 고속 입사각 스캐닝 방법은 비간섭성(incoherent) 빛을 이용한 광 회절 단층 영상(ODT)을 위해 시편(550)에 입사하는 빛의 각도를 조절하는 것으로, 기존 제안된 광 회절 단층 영상(ODT) 기술의 각도 스캐닝 장치(530) 부분에 대체하여 적용될 수 있다. 여기서, 광원(510)에서 조사된 빛을 빔 스플리트(520)를 이용하여 시편광(sample beam) 및 참조광(reference beam)으로 분리할 수 있고, 시편광(sample beam)은 각도 스캐닝 장치(530)를 통해 시편(550)에 입사하는 빛의 각도를 조절할 수 있다. 시편(550)은 조명 장치(illumination unit, 540) 및 현미경검사 장치(microscopy unit, 560) 사이에 배치되며, 시편(550)을 통과한 빛은 간섭계(interferometry building, 570)를 통과하고 카메라(580)를 통해 측정될 수 있다.
도 6은 일 실시예에 따른 고속 입사각 스캐닝 장치를 나타내는 도면이다.
도 6을 참조하면, 고속 입사각 스캐닝 장치는 비간섭성(incoherent) 빛을 이용한 광 회절 단층 영상(ODT)을 위해 시편에 입사하는 빛의 각도를 조절하는 장치로, 예를 들어 가장 일반적인 마흐-젠더(Mach-Zehnder) 형태의 광 회절 단층 영상(ODT) 셋업의 경우, 시편광(sample beam)이 시편(650)에 입사하기 전에 적용될 수 있으며, 이후 복수의 렌즈나 미러 등을 통해 시편(650)까지 전달될 수 있다.
앞에서 설명한 바와 같이, 레이저 광원(610)에서 조사된 빛을 빔 스플리트(620)를 이용하여 시편광(sample beam) 및 참조광(reference beam)으로 분리할 수 있고, 시편광(sample beam)은 각도 스캐닝 장치(630)를 통해 시편(650)에 입사하는 빛의 각도를 조절할 수 있다. 시편(650)은 조명 장치(illumination unit, 640) 및 현미경검사 장치(microscopy unit, 660) 사이에 배치되며, 시편(650)을 통과한 빛은 간섭계(interferometry building, 670)를 통과하고 카메라(680)를 통해 측정될 수 있다. 간섭계(interferometry building, 670)는 미러 및 빔 스플리트로 구성될 수 있다.
여기에서 통칭하는 비간섭성 빛은 시간상의 비간섭성(temporal incoherency)을 의미하는 것으로, 공간상의 간섭성(spatial coherence)은 여전히 필요로 한다. 이와 같은 빛을 내는 광원의 예시로는 초연속소스(supercontinuum source)나 초광 다이오드(superluminescent diode) 등이 있으며, 시공간상에서 모두 비간섭성을 가진 광원(e.g., 제논 램프, 할로겐 램프, 발광 다이오드 등)을 공간 필터링(spatial filtering)하여 사용할 수 있다.
도 7은 일 실시예에 따른 공간 광 변조기를 통해 빛의 각도를 변조하는 회절형 각도 변조 방식을 설명하기 위한 도면이다.
도 7을 참조하면, 일 실시예에서 제시하는 각도 스캐닝 방식은 기존 갈보 미러(Galvo mirrors)나 압전 거울(piezo mirror)에서와 같이 반사면이 움직이는 형태의 반사형 각도 변조(reflective tilting)와 다르게, 공간 광 변조기(Spatial Light Modulator, SLM)를 통해 반사 표면의 구조를 변화시켜 일어나는 회절의 형태로 빛의 각도를 변조하는 회절형 각도 변조(diffractive tilting) 방식을 활용할 수 있다.
도 7의 (a)를 참조하면, 기존 반사형 각도 변조에서는 입사하는 비간섭성 빛을 파장에 관계없이 동일한 각도(
Figure 112020007510841-pat00016
)로 변조한다. 이 때 시편 평면에서, 변조된 빛의 입사 평면 위 거리 x만큼 옆에 떨어진 위치에서 빛이 느끼는 경로 차는
Figure 112020007510841-pat00017
로, 변조 각도가 커질수록 기준점에서 거리(x)가 멀어질 수록 빛의 경로 차가 커지게 된다. 이 때 비간섭성 빛을 사용하고 있으므로 경로 차가 가간섭 거리(coherence length)보다 길어지면 빛이 더 이상 간섭하지 않으며, 위상을 정의할 수 없다. 따라서 기존 반사형 각도 변조는 광 회절 단층 영상(ODT)를 위한 비간섭성 빛의 각도 변조에는 적합하지 않다.
도 7의 (b)를 참조하면, 일 실시예에서 제안한 회절형 각도 변조는 위에서 기술한 반사형 각도 변조와 다르게, 비간섭성 빛에 포함된 파장에 관계없이 동일한 측면공간 주파수
Figure 112020007510841-pat00018
(lateral spatial frequency) 로 변조할 수 있다. 수학식에서 볼 수 있듯이 하나의 k x 에 대해서 파장이 커질수록 변조 각도가 커지게 되며, 결과적으로 비간섭성 빛에 포함된 파장을 분광하는 형태가 된다. 이러한 분광 효과를 제어하기 위하여, 일 실시예에서는 추가적인 광학 시스템을 활용해 해당 변조 평면을 언제나 시편 평면의 켤레 평면(conjugate plane)에 위치한다.
도 8은 일 실시예에 따른 4F 시스템을 설명하기 위한 도면이다. 도 8에 도시된 바와 같이, 하나의 잘 알려진 방식은 두 개의 렌즈(820, 830)를 활용하는 4F 시스템이다. 이러한 조건을 만족할 때, 시편 평면(810, 840) 위에서 변조된 빛이 느끼는 경로 차는 변조 각도나 기준점에서의 거리(x)에 관계없이 전혀 없다.
일 실시예에서 변조 평면은 공간 광 변조기(SLM)의 투과 혹은 반사면을 활용할 수 있다. 다양한 형태의 공간 광 변조기(SLM)가 활용될 수 있으나, 일반적인 액정기반 공간 광 변조기(SLM)를 사용할 경우, 서로 다른 입사각에서 측정한 정량 위상 이미지가 여러 장 필요한 광 회절 단층 영상(ODT)의 특성상, 각도 스캐닝 과정에서 시편이 움직이게 되는 등의 실용적인 문제가 발생하게 된다. 따라서 본 실시예들은 고속 변조가 가능한 이진 변조(binary modulation) 형태의 공간 광 변조기(SLM)을 활용하는 방식을 특정한다. 구체적인 예시로, 고속 이진 진폭 변조가 가능한 디지털 마이크로 미러 장치(Digital Micromirror Device, DMD)와 고속 위상 변조가 가능한 강유전성 공간 광 변조기(ferroelectric Spatial Light Modulator, fSLM)를 사용하는 경우를 예를 들어 설명할 수 있다.
먼저, DMD를 사용한 비간섭성 빛의 회절형 각도 변조에 대해 설명한다.
DMD는 고속 이진 진폭 변조가 가능한 공간 광 변조기(SLM)의 일종으로, 타 SLM보다 상대적으로 저렴한 가격과 빠른 속도로 광 회절 단층 영상(ODT)를 비롯한 많은 분야에서 입사광 변조장치로서의 역할을 해왔다. 그러나, DMD는 비간섭성 빛에 그대로 사용되기에는 한계가 있는데, 그 이유는 DMD 각 픽셀이 기울어진 마이크로 거울로 이루어진 만큼 아무 패턴도 나타내지 않은 DMD 자체만으로 블레이즈드 광학 격자(blazed optical grating)와 같은 회절 효과로 빛의 분광을 야기하기 때문이다.
도 9a는 일 실시예에 따른 시편 평면의 켤레 평면에 광학 격자가 위치하는 DMD의 분광 효과를 설명하기 위한 도면이다. 또한 도 9b는 일 실시예에 따른 DMD의 바로 앞이나 뒤에 위치하는 광학 격자가 위치하는 광학 격자의 분광 효과를 설명하기 위한 도면이다.
비간섭성 빛을 다루는 본 실시예에서는, 따라서 DMD(940)와 동일한 격자 길이와 블레이즈 각도(blazed angle)를 가진 광학 격자(910)를 추가로 도입하여 DMD(940)의 그와 같은 분광 효과를 보상할 수 있다. 이와 같은 광학 격자(910)는 역시 추가적인 광학 시스템을 활용해 또 다른 시편 평면의 켤레 평면에 위치하는 것이 가장 이상적이며(도 9a), 여의치 않을 경우 켤레 평면이 아닌, DMD의 바로 앞이나 뒤에 위치할 수 있다(도 9b). 후자의 경우, 켤레 평면과의 거리가 떨어질수록 DMD(940)의 블레이즈 각도에 의한 분광 효과가 두드러져 이로 인해 사용 가능한 (분광되지 않은) 빛의 크기가 제한될 수 있다. 두 가지 모두의 경우에, 사용되는 광학 격자(910)는 움직이지 않고 단순히 켜져 있는 상태(idle state)의 또 다른 DMD로 치환될 수 있다.
분광 효과가 보상된 DMD(940)는 이제 시편 평면에서 비간섭성 빛의 이진 진폭을 고속으로 제어할 수 있다. 여기서부터는 (특허문헌 1)에서 도입된 시간 복합(time-multiplexing) 방식을 통한 구조화 조명(structured illumination) 기법이 적용되어 광 회절 단층 영상(ODT)를 위한 고속 입사각 스캐닝 장치를 완성할 수 있다.
여기서, 복수 개의 렌즈(920, 930)가 사용될 수 있고, 집광 튜브 렌즈(950) 및 집광 렌즈(960)가 사용될 수 있다.
다음으로, fSLM를 사용한 비간섭성 빛의 회절형 각도 변조에 대해 설명한다.
도 10은 일 실시예에 따른 fSLM를 사용한 비간섭성 빛의 회절형 각도 변조를 설명하기 위한 도면이다.
fSLM은 일반 SLM과 다르게 kHz 수준으로 빛의 위상을 변조하는 것이 가능하다. 도 10에 도시된 바와 같이, fSLM(1010)을 활용하는 경우에는 DMD와 같은 분광 효과가 없으므로 fSLM(1010)의 반사(혹은 투과) 면을 시편 평면의 켤레 평면에 위치하는 것만으로 회절형 각도 변조가 가능하다. 일반 SLM은 8비트 등의 다양한 위상 값을 표현할 수 있는데 반해, fSLM(1010)은 이진(0 또는 p)의 위상만을 표현할 수 있다. 따라서 회절형 각도 변조를 위해 간단하게 선형으로 증가하는 위상을 표현하면 되는 SLM과는 다르게, fSLM(1010) 역시 앞에서 설명한 DMD와 마찬가지로 시간 복합 방식을 통한 구조화 조명을 필요로 한다. 여기서, 집광 튜브 렌즈(1050) 및 집광 렌즈(1060)가 사용될 수 있다.
그러나 이진 진폭을 다루는 DMD와 이진 위상을 다루는 fSLM의 시간 복합 방식은 크게 상이하지 않은데 이는 fSLM으로 인해 0 또는
Figure 112020007510841-pat00019
위상이 변조된 빛의 복소 진폭(complex amplitude)은 각각
Figure 112020007510841-pat00020
또는
Figure 112020007510841-pat00021
으로 모두 실수 값을 가지기 때문이다. 따라서 모든 fSLM의 패턴(P fSLM)은 DMD 패턴(P DMD)으로 P fSLM = 2P DMD - 1 식을 사용하여 1대 1 대응할 수 있으며, 시간 복합 방식을 통한 다중 비트(multi-bit) 패턴의 생성 역시 같은 방식으로 치환될 수 있다.
도 11은 일 실시예에 따른 8비트의 경우의 예시를 나타내는 도면이다. 따라서, 먼저 원하는 fSLM 다중 비트 패턴(e.g., 8비트의 경우,
Figure 112020007510841-pat00022
)을 DMD의 다중 비트 패턴(e.g., 8비트의 경우,
Figure 112020007510841-pat00023
)으로 치환한 뒤,
Figure 112020007510841-pat00024
, (특허문헌 1)에서 도입된 것처럼, DMD 다중 비트 패턴을 비트 개수만큼의 이진 비트 플레인(binary bit plane,
Figure 112020007510841-pat00025
)으로 나눈다(e.g., 8비트의 경우,
Figure 112020007510841-pat00026
). 그렇게 나누어진 이진 DMD 패턴을 다시
Figure 112020007510841-pat00027
식에 도입하여 fSLM에 필요한 비트 플레인을 구할 수 있다.
도 12는 일 실시예에 따른 DMD의 구조화 조명을 설명하기 위한 도면이다.
fSLM을 활용한 구조화 조명은 DMD를 활용한 그것보다 실용적인 이점이 있다. 도 12에 도시된 바와 같이, DMD의 구조화 조명의 경우 DMD가 양수인 실수만 표현 가능하기 때문에, 모든 구조화 조명에서 시편에 수직하게 비추는 각도인 정상 각도(normal angle)에 해당하는 부분이 언제나 존재하게 된다. 그렇기 때문에 DMD로 제작된 구조화 조명에는 언제나 최소 3 개의 입사각이 존재하며, 셋 중 하나는 언제나 정상 각도 성분이 된다. 이를 각각의 입사각 성분으로 분리하기 위해서는 하나의 구조화 조명에 대해 3 번 이상의 위상 시프트(phase shift)가 필요하다. 물론, 정상 각도 결과를 따로 측정하여 모든 구조화 조명 결과에서 빼는 방식으로 위상 시프트 개수를 2 번으로 줄이는 방식을 채용할 수 있지만, 이는 시편이 시간에 따라 조금이라도 변하는 경우에는 사용할 수 없다.
도 13은 일 실시예에 따른 fSLM의 구조화 조명을 설명하기 위한 도면이다.
도 13에 도시된 바와 같이, fSLM의 구조화 조명의 경우 fSLM이 음수인 실수 역시 표현 가능하기 때문에 정상 각도에 해당되는 부분을 제거할 수 있다. 그렇기 때문에 fSLM으로 제작된 구조화 조명에는 정상 각도가 제거된 형태로 최소 2 개의 입사각이 존재할 수 있으며, 이를 각각의 입사각 성분으로 분리하는 것은 2 번의 위상 시프트로 충분하게 된다.
도 14는 일 실시예에 따른 위상 정보 추출과 입체 영상 구성 장치를 나타내는 블록도이다.
도 14를 참조하면, 일 실시예에 따른 위상 정보 추출과 입체 영상 구성 장치(1400)는 영상 측정부(1420) 및 위상 정보 추출부(1430)를 포함하여 이루어질 수 있다. 실시예에 따라 위상 정보 추출과 입체 영상 구성 장치(1400)는 고속 입사각 스캐닝 장치(1410)를 더 포함할 수 있다.
영상 측정부(1420)는 광 신호 측정 장치를 이용하여 시편을 통과한 빛의 세기 영상을 측정할 수 있다. 그리고 위상 정보 추출부(1430)는 측정된 영상에 크라머스 크로니히의 관계식(Kramers-Kronig relations)을 적용하여 시편의 광학 위상 정보를 추출할 수 있다. 이러한 시편의 위상 정보 추출과 위상 정보를 바탕으로 입체 영상을 구성할 수 있다. 여기서, 미생물, 세포, 조직, 박막, 나노포토닉, 광섬유, 마이크로 입자 및 미세먼지 중 적어도 어느 하나 이상의 미세 시편의 2차원 위상 영상 또는 3차원 굴절률 입체 영상을 측정할 수 있다.
영상 측정부(1420)는 입사광과 광축과의 각도를 유지하면서 입사광의 각도를 방위각의(azimuthal) 방향으로 스캐닝하여 다양한 입사각에 따른 시편의 2차원 위상 영상을 측정하고, 복수 개의 2차원 위상 영상들을 통해 3차원 입체 영상을 구성할 수 있다. 더욱이, 영상 측정부(1420)는 측정된 2차원 위상 영상들을 역산란(inverse scattering)을 이용하여 3차원 굴절률 입체 영상을 구성할 수 있다.
또한, 고속 입사각 스캐닝 장치(1410)는 다양한 입사각에 따른 시편의 2차원 위상 영상을 측정하기 위해, 입사광의 각도를 변조할 수 있다.
아래에서 일 실시예에 따른 위상 정보 추출과 입체 영상 구성 장치를 예를 들어 보다 상세히 설명한다.
도 15는 일 실시예에 따른 위상 정보 추출과 입체 영상 구성 방법을 나타내는 흐름도이다.
도 15를 참조하면, 일 실시예에 따른 위상 정보 추출과 입체 영상 구성 방법은, 광 신호 측정 장치를 이용하여 시편을 통과한 빛의 세기 영상을 측정하는 단계(S120), 및 측정된 영상에 크라머스 크로니히의 관계식(Kramers-Kronig relations)을 적용하여 시편의 광학 위상 정보를 추출하는 단계(S130)를 포함하고, 시편의 위상 정보 추출과 위상 정보를 바탕으로 입체 영상을 구성할 수 있다.
입사광과 광축과의 각도를 유지하면서 입사광의 각도를 방위각의(azimuthal) 방향으로 스캐닝하여 다양한 입사각에 따른 시편의 2차원 위상 영상을 측정하는 단계(S140)를 더 포함하고, 복수 개의 2차원 위상 영상들을 통해 3차원 입체 영상을 구성할 수 있다.
또한, 측정된 2차원 위상 영상들을 역산란(inverse scattering)을 이용하여 3차원 굴절률 입체 영상을 구성하는 단계(S150)를 더 포함할 수 있다.
한편, 다양한 입사각에 따른 시편의 2차원 위상 영상을 측정하기 위해, 입사각의 고속 변조가 가능한 형태의 고속 입사각 스캐닝 장치를 이용하여 입사광의 각도를 변조하는 단계(S110)를 더 포함할 수 있다.
아래에서 일 실시예에 따른 위상 정보 추출과 입체 영상 구성 방법의 각 단계를 예를 들어 설명한다. 일 실시예에 따른 위상 정보 추출과 입체 영상 구성 방법은 일 실시예에 따른 위상 정보 추출과 입체 영상 구성 장치를 통해 보다 구체적으로 설명할 수 있다.
먼저, 단계(S110)에서, 고속 입사각 스캐닝 장치는 다양한 입사각에 따른 시편의 2차원 위상 영상을 측정하기 위해, 입사광의 각도를 변조할 수 있다. 고속 입사각 스캐닝 장치는 공간 광 변조기(Spatial Light Modulator, SLM)를 통해 반사 표면의 구조를 변화시켜 일어나는 회절의 형태로 빛의 각도를 변조하는 회절형 각도 변조(diffractive tilting) 방식을 통해 입사광의 각도를 변조할 수 있다.
단계(S120)에서, 영상 측정부는 광 신호 측정 장치를 이용하여 시편을 통과한 빛의 세기 영상을 측정할 수 있다.
단계(S130)에서, 위상 정보 추출부는 측정된 영상에 크라머스 크로니히의 관계식(Kramers-Kronig relations)을 적용하여 시편의 광학 위상 정보를 추출할 수 있다.
단계(S140)에서, 영상 측정부는 입사광과 광축과의 각도를 유지하면서 입사광의 각도를 방위각의(azimuthal) 방향으로 스캐닝하여 다양한 입사각에 따른 시편의 2차원 위상 영상을 측정하고, 복수 개의 2차원 위상 영상들을 통해 3차원 입체 영상을 구성할 수 있다.
단계(S150)에서, 영상 측정부는 측정된 2차원 위상 영상들을 역산란(inverse scattering)을 이용하여 3차원 굴절률 입체 영상을 구성할 수 있다.
도 16은 일 실시예에 따른 실제 측정한 위상 정보 영상을 나타내는 도면이다.
도 16은 일 실시예에 따른 방법을 적용하여 구성한 장비로 실제 측정한 위상 정보 영상을 나타내는 것으로, (a)는 US air force resolution target 시편을 나타내며, 기존 간섭계를 이용하여 측정된 결과이고, (b)는 같은 시편을 본 실시예에서 제안한 방법으로 측정한 결과를 나타내며, 일반 간섭계에서 발상하는 스페클 잡음(speckle noise)이 크게 개선되는 것을 확인할 수 있다. (c)는 위상 분해능 타겟(resolution target)의 시편을 나타내고, 본 실시예에 따른 방법 및 장치가 정확한 위상 지연 값을 측정할 수 있음을 확인할 수 있다. (d)는 생물학적 시편(인체 조직 시편)을 나타내며, 본 실시예에 따른 방법 및 장치를 생물학 연구와 의학 진단에 활용할 수 있음을 확인할 수 있다.
또한, 입사각을 바꿔 주면서 여러 장의 2차원 위상 정보 영상을 측정하면, 3차원 굴절률 정보 구성 또한 가능해진다.
도 17은 일 실시예에 따른 실제 측정한 입체 영상을 나타내는 도면이다.
도 17을 참조하면, 일 실시예에 따른 방법을 적용하여 구성한 장비로 실험 및 시뮬레이션을 통해 실제 측정한 입체 영상 구성 영상이다. 도 15의 (a)는 플라스틱 미세입자를 실험적으로 측정한 것이고, 이는 (b)와 같이 예상되는 결과값과 일치한다.
도 18은 일 실시예에 따른 3차원 굴절률 정보를 측정한 영상을 나타내는 도면이다. 도 18을 참조하면, 생물학적 시편(암 세포주)의 3차원 굴절률 정보를 측정한 영상을 나타낸다.
이상에서 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 광 신호 측정 장치를 이용하여 시편을 통과한 빛의 세기 영상을 측정하는 단계; 및
    측정된 상기 영상에 크라머스 크로니히의 관계식(Kramers-Kronig relations)을 적용하여 상기 시편의 광학 위상 정보를 추출하는 단계
    를 포함하고,
    상기 시편의 위상 정보 추출과 상기 위상 정보를 바탕으로 입체 영상을 구성하며,
    입사광과 광축과의 각도를 유지하면서 상기 입사광의 각도를 방위각의(azimuthal) 방향으로 스캐닝하여 다양한 입사각에 따른 상기 시편의 2차원 위상 영상을 측정하는 단계; 및
    측정된 상기 2차원 위상 영상들을 역산란(inverse scattering)을 이용하여 3차원 굴절률 입체 영상을 구성하는 단계
    를 더 포함하고,
    복수 개의 상기 2차원 위상 영상들을 통해 3차원 입체 영상을 구성하는, 위상 정보 추출과 입체 영상 구성 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    미생물, 세포, 조직, 박막, 나노포토닉, 광섬유, 마이크로 입자 및 미세먼지 중 적어도 어느 하나 이상의 미세 시편의 2차원 위상 영상 또는 3차원 굴절률 입체 영상을 측정하는 것
    을 특징으로 하는, 위상 정보 추출과 입체 영상 구성 방법.
  5. 광 신호 측정 장치를 이용하여 시편을 통과한 빛의 세기 영상을 측정하는 단계; 및
    측정된 상기 영상에 크라머스 크로니히의 관계식(Kramers-Kronig relations)을 적용하여 상기 시편의 광학 위상 정보를 추출하는 단계
    를 포함하고,
    상기 시편의 위상 정보 추출과 상기 위상 정보를 바탕으로 입체 영상을 구성하며,
    다양한 입사각에 따른 상기 시편의 2차원 위상 영상을 측정하기 위해, 입사각의 고속 변조가 가능한 형태의 고속 입사각 스캐닝 장치를 이용하여 입사광의 각도를 변조하는 단계
    를 더 포함하는, 위상 정보 추출과 입체 영상 구성 방법.
  6. 제5항에 있어서,
    상기 고속 입사각 스캐닝 장치를 이용하여 입사광의 각도를 변조하는 단계는,
    공간 광 변조기(Spatial Light Modulator, SLM)를 통해 반사 표면의 구조를 변화시켜 일어나는 회절의 형태로 빛의 각도를 변조하는 회절형 각도 변조(diffractive tilting) 방식을 통해 상기 입사광의 각도를 변조하는 것
    을 특징으로 하는, 위상 정보 추출과 입체 영상 구성 방법.
  7. 광 신호 측정 장치를 이용하여 시편을 통과한 빛의 세기 영상을 측정하는 영상 측정부; 및
    측정된 상기 영상에 크라머스 크로니히의 관계식(Kramers-Kronig relations)을 적용하여 상기 시편의 광학 위상 정보를 추출하는 위상 정보 추출부
    를 포함하고,
    상기 시편의 위상 정보 추출과 상기 위상 정보를 바탕으로 입체 영상을 구성하며,
    상기 영상 측정부는,
    입사광과 광축과의 각도를 유지하면서 상기 입사광의 각도를 방위각의(azimuthal) 방향으로 스캐닝하여 다양한 입사각에 따른 상기 시편의 2차원 위상 영상을 측정하고, 복수 개의 상기 2차원 위상 영상들을 통해 3차원 입체 영상을 구성하며, 측정된 상기 2차원 위상 영상들을 역산란(inverse scattering)을 이용하여 3차원 굴절률 입체 영상을 구성하는, 위상 정보 추출과 입체 영상 구성 장치.
  8. 삭제
  9. 삭제
  10. 광 신호 측정 장치를 이용하여 시편을 통과한 빛의 세기 영상을 측정하는 영상 측정부; 및
    측정된 상기 영상에 크라머스 크로니히의 관계식(Kramers-Kronig relations)을 적용하여 상기 시편의 광학 위상 정보를 추출하는 위상 정보 추출부
    를 포함하고,
    상기 시편의 위상 정보 추출과 상기 위상 정보를 바탕으로 입체 영상을 구성하며,
    다양한 입사각에 따른 상기 시편의 2차원 위상 영상을 측정하기 위해, 입사광의 각도를 변조하는 고속 입사각 스캐닝 장치
    를 더 포함하는, 위상 정보 추출과 입체 영상 구성 장치.
KR1020200008497A 2020-01-22 2020-01-22 위상 정보 추출과 입체 영상 구성 방법 및 장치 Active KR102272366B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200008497A KR102272366B1 (ko) 2020-01-22 2020-01-22 위상 정보 추출과 입체 영상 구성 방법 및 장치
EP20189766.7A EP3855252B1 (en) 2020-01-22 2020-08-06 Method and apparatus for the phase retrieval and volumetric imaging reconstruction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200008497A KR102272366B1 (ko) 2020-01-22 2020-01-22 위상 정보 추출과 입체 영상 구성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102272366B1 true KR102272366B1 (ko) 2021-07-02

Family

ID=71994331

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200008497A Active KR102272366B1 (ko) 2020-01-22 2020-01-22 위상 정보 추출과 입체 영상 구성 방법 및 장치

Country Status (2)

Country Link
EP (1) EP3855252B1 (ko)
KR (1) KR102272366B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230166265A (ko) * 2022-05-30 2023-12-07 주식회사 토모큐브 Ai 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021256202A1 (ja) * 2020-06-18 2021-12-23 浜松ホトニクス株式会社 観察装置および観察方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090093368A (ko) * 2008-02-29 2009-09-02 연세대학교 산학협력단 편광 민감 광 간섭 영상검출용 프로브
US20090290156A1 (en) * 2008-05-21 2009-11-26 The Board Of Trustee Of The University Of Illinois Spatial light interference microscopy and fourier transform light scattering for cell and tissue characterization
KR20170140459A (ko) * 2016-06-10 2017-12-21 주식회사 토모큐브 파면 제어기를 이용한 초고속 3차원 굴절률 영상 촬영 및 형광 구조화 조도 현미경 시스템 및 이를 이용한 방법
KR101888924B1 (ko) 2017-01-06 2018-08-17 주식회사 토모큐브 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법
US20190229812A1 (en) * 2016-06-08 2019-07-25 Ramot at Tel- Aviv University Ltd. Kramers-kronig receiver

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090093368A (ko) * 2008-02-29 2009-09-02 연세대학교 산학협력단 편광 민감 광 간섭 영상검출용 프로브
US20090290156A1 (en) * 2008-05-21 2009-11-26 The Board Of Trustee Of The University Of Illinois Spatial light interference microscopy and fourier transform light scattering for cell and tissue characterization
US20190229812A1 (en) * 2016-06-08 2019-07-25 Ramot at Tel- Aviv University Ltd. Kramers-kronig receiver
KR20170140459A (ko) * 2016-06-10 2017-12-21 주식회사 토모큐브 파면 제어기를 이용한 초고속 3차원 굴절률 영상 촬영 및 형광 구조화 조도 현미경 시스템 및 이를 이용한 방법
KR101888924B1 (ko) 2017-01-06 2018-08-17 주식회사 토모큐브 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230166265A (ko) * 2022-05-30 2023-12-07 주식회사 토모큐브 Ai 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법
KR102659201B1 (ko) 2022-05-30 2024-04-22 주식회사 토모큐브 Ai 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법

Also Published As

Publication number Publication date
EP3855252B1 (en) 2022-05-18
EP3855252A1 (en) 2021-07-28

Similar Documents

Publication Publication Date Title
JP6622154B2 (ja) 波面制御器を用いた３次元屈折率映像撮影および蛍光構造化照明顕微鏡システムと、これを利用した方法
US8149416B2 (en) Apparatus and method for dynamic cellular probing and diagnostics using holographic optical forcing array
US10302569B2 (en) Microscope device and image acquisition method
US7839551B2 (en) Holographic microscopy of holographically trapped three-dimensional structures
US8649024B2 (en) Non-contact surface characterization using modulated illumination
WO2018070451A1 (ja) ディジタルホログラフィック顕微鏡
WO2020013208A1 (ja) ホログラフィック３次元マルチスポット光刺激装置及び方法
US10976532B2 (en) Structured illumination microscopy system using digital micromirror device and time-complex structured illumination, and operation method therefor
JP2007510963A (ja) デジタル画像化組立品、及びその方法
JP2015505039A (ja) 変調光を使用した非接触表面形状評価
WO2020058947A1 (en) Apparatus for parallel fourier domain optical coherence tomography imaging and imaging method using parallel fourier domain optical coherence tomography
US12164267B2 (en) Phase imaging apparatus, phase imaging method
JP2015118290A (ja) デジタルホログラフィ３次元撮像装置および撮像方法
KR102272366B1 (ko) 위상 정보 추출과 입체 영상 구성 방법 및 장치
CN115096857A (zh) 一种基于艾里光片线扫描的oct成像方法和装置
KR101716452B1 (ko) 디지털 홀로그래피 마이크로스코프를 이용한 고단차 측정 방법
Arcab et al. Single-shot experimental-numerical twin-image removal in lensless digital holographic microscopy
KR101888924B1 (ko) 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법
WO2024262141A1 (ja) 観察装置および観察方法
Grebenyuk et al. Theory of imaging and coherence effects in full-field optical coherence microscopy
KR20220035890A (ko) 개선된 홀로그래픽 복원 장치 및 방법
CN208595888U (zh) 一种稳定的轻离轴干涉显微装置
CN115711866B (zh) 基于环形扫描照明的定量相衬层析显微装置和方法
JP6436753B2 (ja) 位相差干渉顕微装置
WO2024262140A1 (ja) 観察装置および観察方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200122

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201123

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210419

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210628

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210629

End annual number: 3

Start annual number: 1

PG1601 Publication of registration