[go: up one dir, main page]

JP2023079446A - 観察装置および観察方法 - Google Patents

観察装置および観察方法 Download PDF

Info

Publication number
JP2023079446A
JP2023079446A JP2021192929A JP2021192929A JP2023079446A JP 2023079446 A JP2023079446 A JP 2023079446A JP 2021192929 A JP2021192929 A JP 2021192929A JP 2021192929 A JP2021192929 A JP 2021192929A JP 2023079446 A JP2023079446 A JP 2023079446A
Authority
JP
Japan
Prior art keywords
image
complex amplitude
light
generating
dimensional phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021192929A
Other languages
English (en)
Inventor
修 安彦
Osamu YASUHIKO
康造 竹内
Kozo Takeuchi
秀直 山田
Hidenao Yamada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2021192929A priority Critical patent/JP2023079446A/ja
Priority to US18/704,137 priority patent/US20240410825A1/en
Priority to EP22898227.8A priority patent/EP4428521A1/en
Priority to PCT/JP2022/036582 priority patent/WO2023095442A1/ja
Priority to CN202280078907.2A priority patent/CN118451312A/zh
Priority to KR1020247020380A priority patent/KR20240116484A/ko
Publication of JP2023079446A publication Critical patent/JP2023079446A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/4133Refractometers, e.g. differential
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H1/265Angle multiplexing; Multichannel holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/32Systems for obtaining speckle elimination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/005Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447In-line recording arrangement
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0452Digital holography, i.e. recording holograms with digital recording means arranged to record an image of the object
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0454Arrangement for recovering hologram complex amplitude
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0463Frequency heterodyne, i.e. one beam is frequency shifted
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/62Moving object

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Engineering & Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】移動している観察対象物が多重散乱体である場合であっても、多重散乱光の影響を低減して観察対象物を観察することができる観察装置を提供する。【解決手段】観察装置1Aは、光源10、ビームスプリッタ21、ミラー22、ミラー23、シリンドリカルレンズ24、レンズ25、シリンドリカルレンズ26、ビームスプリッタ27、レンズ28、周波数シフタ30、撮像部40および解析部50を備える。解析部50は、撮像部40から出力される干渉強度画像の時系列データに基づいて、物体光の複数の光照射方向それぞれの複素振幅画像を生成し、これらの複数の光照射方向それぞれの複素振幅画像に基づいて、観察対象物Sの3次元複素微分干渉画像を生成する。解析部50は、3次元複素微分干渉画像に基づいて観察対象物Sの3次元屈折率分布を求める。【選択図】図1

Description

本発明は、観察装置および観察方法に関するものである。
特許文献1に記載された観察装置は、光源から出力された光を分岐して物体光および参照光とし、移動している観察対象物を経た物体光と、光周波数をヘテロダイン周波数だけシフトさせた参照光とを合波して、物体光と参照光とをヘテロダイン干渉させる。そして、この観察装置は、カメラの撮像面に到達した干渉光の強度画像の時系列データに基づいて、撮像面における物体光の複素振幅画像の時系列データを取得することができる。この観察装置は、移動している観察対象物を非染色・非侵襲でイメージングすることができ、例えば、フローサイトメータで移動している細胞を観察するのに用いられ得る。
国際公開第2013/065796号
特許文献1に記載された観察装置は、観察対象物として単一細胞の観察に適用され得るものの、スフェロイドやオルガノイドと呼ばれる3次元細胞組織などの多重散乱体の観察には適用が困難である。何故なら、観察対象物で生じる多重散乱光が多い場合に、取得される画像に多重散乱光の影響が大きく現れるからである。
光の散乱とは、光が対象物と相互作用することによって光の進行方向が変えられる現象をいう。特に対象物の屈折率の空間的な不均一さが増大すると、光は対象物を通過する間に対象物と多数回相互作用するようになる。このように対象物と多数回相互作用した光は多重散乱光と呼ばれる。これに対して、対象物と一回のみ相互作用した光は単一散乱光と呼ばれる。多重散乱光は、スペックルの増大および単一散乱-多重散乱比(Single-scattering to Multi-scattering Ratio、SMR)の悪化の原因となり、測定の障壁となることが知られている。
スペックルは、光が時間的かつ空間的にコヒーレントである場合に、多重散乱光の干渉によって空間的に強度または位相の大きな変化が引き起こされることにより生じる。スペックル発生を抑制するには、時間的または空間的にインコヒーレントである光を出力する光源を用いればよい。例えば、位相差顕微鏡などの通常の明視野顕微鏡は、ハロゲンランプや発光ダイオードなどの空間的かつ時間的にインコヒーレントな光源を用いることで、スペックルのない画像を取得している。
SMRの悪化は、単一散乱光よりも多重散乱光が支配的になって、単一散乱光が多重散乱光の中に埋もれてしまうことにより生じる。観察対象物が大きくなって観察深度が深いほど、単一散乱光の成分は指数関数的に減少する一方で、これと対照的に多重散乱光の成分が増大する。単一散乱光は、その散乱方向が対象物の構造と直接的な対応関係を持っていることから、対象物の構造の測定に用いやすい。一方で、多重散乱光は、対象物の構造との関係が複雑であり、対象物の構造の情報を抽出することが難しい。それ故、単一散乱光を利用したイメージング技術では、多重散乱光の中に単一散乱光が埋もれると(すなわち、SMRが悪化すると)測定が失敗することが知られている。
SMR悪化の抑制は、単一散乱光および多重散乱光のうち単一散乱光を選択的に検出するゲーティングと呼ばれる技術により可能である。ゲーティングにより多重散乱光が抑制されるので、SMR悪化の抑制と同時にスペックルの抑制も可能である。ゲーティングは、空間、時間および偏光などの自由度を用いて実現される。共焦点顕微鏡は、空間的ゲーティングの一例である。光コヒーレンス・トモグラフィ(Optical Coherence Tomography、OCT)は、時間的および空間的なゲーティングの一例である。
特許文献1に記載された観察装置は、多重散乱光の影響を除去していないことから、観察対象物で生じる多重散乱光が多い場合に、取得される画像においてスペックルが増大し、また、SMRが悪化する。それ故、特許文献1に記載された観察装置は、多重散乱光の発生が少ない単一細胞の観察に適用され得るものの、多重散乱光の発生が多い3次元細胞組織などの多重散乱体の観察には適用が困難である。
本発明は、上記問題点を解消する為になされたものであり、移動している観察対象物が多重散乱体である場合であっても、多重散乱光の影響を低減して観察対象物を観察することができる観察装置および観察方法を提供することを目的とする。
本発明の第1態様の観察装置は、(1) 光源から出力された光を物体光と参照光とに分岐し、第1方向に沿って移動している観察対象物に対し物体光を照射し、観察対象物を経た物体光と参照光とを合波して出力する干渉光学系と、(2) 干渉光学系の分岐から合波までの間の物体光または参照光の光路上に設けられ、物体光および参照光それぞれの光周波数をヘテロダイン周波数だけ互いに異ならせる周波数シフタと、(3) 干渉光学系から出力された物体光および参照光を受光する撮像面を有し、撮像面における物体光と参照光との干渉による干渉強度画像を撮像して、干渉強度画像の時系列データを出力する撮像部と、(4) 干渉強度画像の時系列データに基づいて解析を行う解析部と、を備える。干渉光学系は、観察対象物に対し物体光を照射する際に、観察対象物において第1方向に対し垂直な第2方向に延在するライン状の領域に物体光を集光照射する照射光学系と、観察対象物を経た物体光を撮像面に導く際に、第1方向については観察対象物と撮像面とを互いにフーリエ変換の位置関係とし、第2方向については観察対象物と撮像面とを互いに共役の位置関係とする結像光学系と、を含み、物体光および参照光を互いに同軸として撮像面へ入射させる。解析部は、干渉強度画像の時系列データに基づいて、照射光学系による観察対象物への物体光の集光照射の際の複数の光照射方向および複数の位置それぞれの複素微分干渉画像を生成し、これらの複素微分干渉画像に基づいて観察対象物の3次元位相画像を生成する。
本発明の第2態様の観察装置は、(1) 光源から出力された光を物体光と参照光とに分岐し、第1方向に沿って移動している観察対象物に対し物体光を照射し、観察対象物を経た物体光と参照光とを合波して出力する干渉光学系と、(2) 干渉光学系から出力された物体光および参照光を受光する撮像面を有し、撮像面における物体光と参照光との干渉による干渉強度画像を撮像して、干渉強度画像の時系列データを出力する撮像部と、(3) 干渉強度画像の時系列データに基づいて解析を行う解析部と、を備える。干渉光学系は、観察対象物に対し物体光を照射する際に、観察対象物において第1方向に対し垂直な第2方向に延在するライン状の領域に物体光を集光照射する照射光学系と、観察対象物を経た物体光を撮像面に導く際に、第1方向については観察対象物と撮像面とを互いにフーリエ変換の位置関係とし、第2方向については観察対象物と撮像面とを互いに共役の位置関係とする結像光学系と、を含み、物体光および参照光を互いに異なる方向から撮像面へ入射させる。解析部は、干渉強度画像の時系列データに基づいて、照射光学系による観察対象物への物体光の集光照射の際の複数の光照射方向および複数の位置それぞれの複素微分干渉画像を生成し、これらの複素微分干渉画像に基づいて観察対象物の3次元位相画像を生成する。
本発明の第1態様または第2態様の一側面において、解析部は、(a) 撮像部から干渉強度画像の時系列データを取得する干渉強度画像取得部と、(b) 干渉強度画像の時系列データに基づいて複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成部と、(c) 複数の光照射方向それぞれについて、第1複素振幅画像生成部により生成された複素振幅画像に基づいて複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成部と、(d) 複数の位置それぞれについて、複数の光照射方向それぞれの複素振幅画像に基づいて複数の光照射方向それぞれの複素微分干渉画像を生成し、複数の光照射方向それぞれの複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成部と、(e) 複数の位置それぞれの2次元位相画像に基づいて3次元位相画像を生成する3次元位相画像生成部と、を備える。
本発明の第1態様または第2態様の他の一側面において、解析部は、(a) 撮像部から干渉強度画像の時系列データを取得する干渉強度画像取得部と、(b) 干渉強度画像の時系列データに基づいて複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成部と、(c) 複数の光照射方向それぞれについて、第1複素振幅画像生成部により生成された複素振幅画像に基づいて複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成部と、(d) 複数の位置それぞれについて、複数の光照射方向それぞれの複素振幅画像を複数のバッチに区分し、複数のバッチそれぞれについて該バッチに含まれる複素振幅画像の位相を光照射方向に基づいて補正した後これら補正後の複素振幅画像の総和を表す複素振幅総和画像を生成し、複数のバッチそれぞれの複素振幅総和画像に基づいて複数のバッチそれぞれの複素微分干渉画像を生成し、複数のバッチそれぞれの複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成部と、(e) 複数の位置それぞれの2次元位相画像に基づいて3次元位相画像を生成する3次元位相画像生成部と、を備える。
本発明の第1態様または第2態様の更に他の一側面において、解析部は、(a) 撮像部から干渉強度画像の時系列データを取得する干渉強度画像取得部と、(b) 干渉強度画像の時系列データに基づいて複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成部と、(c) 複数の光照射方向それぞれについて、複素振幅画像に基づいて複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成部と、(d) 第2複素振幅画像生成部による処理の前、途中または後において、複数の光照射方向それぞれの複素振幅画像に対して位相共役演算を行って、観察対象物に対する光照射および撮像の関係を逆転させた場合の複数の光照射方向それぞれの複素振幅画像を生成する位相共役演算部と、(e) 複数の位置それぞれについて、第2複素振幅画像生成部または位相共役演算部により生成された複数の光照射方向それぞれの複素振幅画像に基づいて複数の光照射方向それぞれの複素微分干渉画像を生成し、複数の光照射方向それぞれの複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成部と、(f) 複数の位置それぞれの2次元位相画像に基づいて3次元位相画像を生成する3次元位相画像生成部と、を備える。2次元位相画像生成部は、位相共役演算部による演算を行う前の複素振幅画像に基づいて生成される位相画像を第1位相画像とし、位相共役演算部による演算を行って求められた複素振幅画像に基づいて生成される位相画像を第2位相画像としたとき、複数の位置のうち、撮像部に対し相対的に近い位置については主として第1位相画像に基づいて2次元位相画像を生成し、撮像部に対し相対的に遠い位置については主として第2位相画像に基づいて2次元位相画像を生成する。
本発明の第1態様または第2態様の一側面において、解析部は、3次元位相画像に基づいて観察対象物の3次元屈折率分布を求める屈折率分布算出部を更に備える。
本発明の第1態様または第2態様の更に他の一側面において、解析部は、(a) 撮像部から干渉強度画像の時系列データを取得する干渉強度画像取得部と、(b) 干渉強度画像の時系列データに基づいて複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成部と、(c) 複数の光照射方向それぞれについて、光伝搬経路に沿った撮像部からの距離に関し第1位置の複素振幅画像に基づいて第1位置から第2位置までの間の複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成部と、(d) 複数の位置それぞれについて、複数の光照射方向それぞれの複素振幅画像に基づいて複数の光照射方向それぞれの複素微分干渉画像を生成し、複数の光照射方向それぞれの複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成部と、(e) 複数の位置それぞれの2次元位相画像に基づいて第1位置から第2位置までの間の3次元位相画像を生成する3次元位相画像生成部と、(f) 3次元位相画像に基づいて第1位置から第2位置までの間の観察対象物の3次元屈折率分布を求める屈折率分布算出部と、(g) 複数の光照射方向それぞれについて、第1位置の複素振幅画像および3次元屈折率分布に基づいて第2位置の複素振幅画像を生成する第3複素振幅画像生成部と、を備える。解析部は、第1複素振幅画像生成部により生成した複素振幅画像に基づいて、第2複素振幅画像生成部、2次元位相画像生成部、3次元位相画像生成部、屈折率分布算出部および第3複素振幅画像生成部それぞれの処理を順に行う。
本発明の一側面において、2次元位相画像生成部は、複数の光照射方向それぞれの複素微分干渉画像の総和に基づいて2次元位相画像を生成するのが好適である。
本発明の第1態様の観察方法は、(1) 光源から出力された光を物体光と参照光とに分岐し、第1方向に沿って移動している観察対象物に対し物体光を照射し、観察対象物を経た物体光と参照光とを合波して出力する干渉光学系により、物体光と参照光とを干渉させる干渉ステップと、(2) 干渉光学系の分岐から合波までの間の物体光または参照光の光路上に設けられた周波数シフタにより、物体光および参照光それぞれの光周波数をヘテロダイン周波数だけ互いに異ならせる変調ステップと、(3) 干渉光学系から出力された物体光および参照光を受光する撮像面を有する撮像部により、撮像面における物体光と参照光との干渉による干渉強度画像を撮像して、干渉強度画像の時系列データを出力する撮像ステップと、(4) 干渉強度画像の時系列データに基づいて解析を行う解析ステップと、を備える。干渉光学系は、観察対象物に対し物体光を照射する際に、観察対象物において第1方向に対し垂直な第2方向に延在するライン状の領域に物体光を集光照射する照射光学系と、観察対象物を経た物体光を撮像面に導く際に、第1方向については観察対象物と撮像面とを互いにフーリエ変換の位置関係とし、第2方向については観察対象物と撮像面とを互いに共役の位置関係とする結像光学系と、を含み、物体光および参照光を互いに同軸として撮像面へ入射させる。解析ステップでは、干渉強度画像の時系列データに基づいて、照射光学系による観察対象物への物体光の集光照射の際の複数の光照射方向および複数の位置それぞれの複素微分干渉画像を生成し、これらの複素微分干渉画像に基づいて観察対象物の3次元位相画像を生成する。
本発明の第2態様の観察方法は、(1) 光源から出力された光を物体光と参照光とに分岐し、第1方向に沿って移動している観察対象物に対し物体光を照射し、観察対象物を経た物体光と参照光とを合波して出力する干渉光学系により、物体光と参照光とを干渉させる干渉ステップと、(2) 干渉光学系から出力された物体光および参照光を受光する撮像面を有する撮像部により、撮像面における物体光と参照光との干渉による干渉強度画像を撮像して、干渉強度画像の時系列データを出力する撮像ステップと、(3) 干渉強度画像の時系列データに基づいて解析を行う解析ステップと、を備える。干渉光学系は、観察対象物に対し物体光を照射する際に、観察対象物において第1方向に対し垂直な第2方向に延在するライン状の領域に物体光を集光照射する照射光学系と、観察対象物を経た物体光を撮像面に導く際に、第1方向については観察対象物と撮像面とを互いにフーリエ変換の位置関係とし、第2方向については観察対象物と撮像面とを互いに共役の位置関係とする結像光学系と、を含み、物体光および参照光を互いに異なる方向から撮像面へ入射させる。解析ステップは、干渉強度画像の時系列データに基づいて、照射光学系による観察対象物への物体光の集光照射の際の複数の光照射方向および複数の位置それぞれの複素微分干渉画像を生成し、これらの複素微分干渉画像に基づいて観察対象物の3次元位相画像を生成する。
本発明の第1態様または第2態様の一側面において、解析ステップは、(a) 撮像部から干渉強度画像の時系列データを取得する干渉強度画像取得ステップと、(b) 干渉強度画像の時系列データに基づいて複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成ステップと、(c) 複数の光照射方向それぞれについて、第1複素振幅画像生成ステップにより生成された複素振幅画像に基づいて複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成ステップと、(d) 複数の位置それぞれについて、複数の光照射方向それぞれの複素振幅画像に基づいて複数の光照射方向それぞれの複素微分干渉画像を生成し、複数の光照射方向それぞれの複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成ステップと、(e) 複数の位置それぞれの2次元位相画像に基づいて3次元位相画像を生成する3次元位相画像生成ステップと、を備える。
本発明の第1態様または第2態様の他の一側面において、解析ステップは、(a) 撮像部から干渉強度画像の時系列データを取得する干渉強度画像取得ステップと、(b) 干渉強度画像の時系列データに基づいて複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成ステップと、(c) 複数の光照射方向それぞれについて、第1複素振幅画像生成ステップにより生成された複素振幅画像に基づいて複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成ステップと、(d) 複数の位置それぞれについて、複数の光照射方向それぞれの複素振幅画像を複数のバッチに区分し、複数のバッチそれぞれについて該バッチに含まれる複素振幅画像の位相を光照射方向に基づいて補正した後これら補正後の複素振幅画像の総和を表す複素振幅総和画像を生成し、複数のバッチそれぞれの複素振幅総和画像に基づいて複数のバッチそれぞれの複素微分干渉画像を生成し、複数のバッチそれぞれの複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成ステップと、(e) 複数の位置それぞれの2次元位相画像に基づいて3次元位相画像を生成する3次元位相画像生成ステップと、を備える。
本発明の第1態様または第2態様の更に他の一側面において、解析ステップは、(a) 撮像部から干渉強度画像の時系列データを取得する干渉強度画像取得ステップと、(b) 干渉強度画像の時系列データに基づいて複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成ステップと、(c) 複数の光照射方向それぞれについて、複素振幅画像に基づいて複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成ステップと、(d) 第2複素振幅画像生成ステップによる処理の前、途中または後において、複数の光照射方向それぞれの複素振幅画像に対して位相共役演算を行って、観察対象物に対する光照射および撮像の関係を逆転させた場合の複数の光照射方向それぞれの複素振幅画像を生成する位相共役演算ステップと、(e) 複数の位置それぞれについて、第2複素振幅画像生成ステップまたは位相共役演算ステップにより生成された複数の光照射方向それぞれの複素振幅画像に基づいて複数の光照射方向それぞれの複素微分干渉画像を生成し、複数の光照射方向それぞれの複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成ステップと、(f) 複数の位置それぞれの2次元位相画像に基づいて3次元位相画像を生成する3次元位相画像生成ステップと、を備える。2次元位相画像生成ステップは、位相共役演算ステップによる演算を行う前の複素振幅画像に基づいて生成される位相画像を第1位相画像とし、位相共役演算ステップによる演算を行って求められた複素振幅画像に基づいて生成される位相画像を第2位相画像としたとき、複数の位置のうち、撮像部に対し相対的に近い位置については主として第1位相画像に基づいて2次元位相画像を生成し、撮像部に対し相対的に遠い位置については主として第2位相画像に基づいて2次元位相画像を生成する。
本発明の第1態様または第2態様の一側面において、解析ステップは、3次元位相画像に基づいて観察対象物の3次元屈折率分布を求める屈折率分布算出ステップを更に備える。
本発明の第1態様または第2態様の更に他の一側面において、解析ステップは、(a) 撮像部から干渉強度画像の時系列データを取得する干渉強度画像取得ステップと、(b) 干渉強度画像の時系列データに基づいて複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成ステップと、(c) 複数の光照射方向それぞれについて、光伝搬経路に沿った撮像部からの距離に関し第1位置の複素振幅画像に基づいて第1位置から第2位置までの間の複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成ステップと、(d) 複数の位置それぞれについて、複数の光照射方向それぞれの複素振幅画像に基づいて複数の光照射方向それぞれの複素微分干渉画像を生成し、複数の光照射方向それぞれの複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成ステップと、(e) 複数の位置それぞれの2次元位相画像に基づいて第1位置から第2位置までの間の3次元位相画像を生成する3次元位相画像生成ステップと、(f) 3次元位相画像に基づいて第1位置から第2位置までの間の観察対象物の3次元屈折率分布を求める屈折率分布算出ステップと、(g) 複数の光照射方向それぞれについて、第1位置の複素振幅画像および3次元屈折率分布に基づいて第2位置の複素振幅画像を生成する第3複素振幅画像生成ステップと、を備える。解析ステップは、第1複素振幅画像生成ステップにより生成した複素振幅画像に基づいて、第2複素振幅画像生成ステップ、2次元位相画像生成ステップ、3次元位相画像生成ステップ、屈折率分布算出ステップおよび第3複素振幅画像生成ステップそれぞれの処理を順に行う。
本発明の一側面において、2次元位相画像生成ステップでは、複数の光照射方向それぞれの複素微分干渉画像の総和に基づいて2次元位相画像を生成するのが好適である。
本発明のプログラムは、上記の本発明の観察方法の各ステップをコンピュータに実行させるためのものである。本発明の記録媒体は、上記の本発明のプログラムを記録したコンピュータ読み取り可能なものである。
本発明によれば、移動している観察対象物が多重散乱体である場合であっても、多重散乱光の影響を低減して観察対象物を観察することができる。
図1は、観察装置1Aの構成を示す図である。 図2は、観察装置1Bの構成を示す図である。 図3は、観察装置1A(図1)および観察装置B(図2)それぞれの構成におけるレンズ25、シリンドリカルレンズ26およびレンズ28を含む結像光学系を説明する図である。図3(a)はy方向に見た図であり、図3(b)はx方向に見た図である。 図4は、観察装置1A(図1)の解析部50の第1複素振幅画像生成部52の処理内容について説明する図である。図4(a)は、撮像部40から出力される干渉強度画像の時系列データI(k,y,t)を示す。図4(b)は、或る光照射方向kx0且つ或る第2方向位置yでの時刻tを変数とするデータI(kx0,y,t)を示す。 図5は、観察装置1A(図1)の解析部50の第1複素振幅画像生成部52の処理内容について説明する図である。図5(a)は、I(kx0,y,t)のフーリエ変換の結果を示す。図5(b)は、図5(a)のフーリエ変換の結果の一部を切り出して平行移動させた結果を示す。図5(c)は、図5(b)の結果をフーリエ変換した結果を示す。 図6は、観察装置1B(図2)の解析部50の第1複素振幅画像生成部52の処理内容について説明する図である。図6(a)は、撮像部40から出力される干渉強度画像の時系列データI(k,y,t)を示す。図6(b)は、或る光照射方向kx0且つ或る時刻tでの第2方向位置yを変数とするデータI(kx0,y,t)を示す。 図7は、観察装置1B(図2)の解析部50の第1複素振幅画像生成部52の処理内容について説明する図である。図7(a)は、I(kx0,y,t)のフーリエ変換の結果を示す。図7(b)は、図7(a)のフーリエ変換の結果の一部を切り出して平行移動させた結果を示す。図7(c)は、図7(b)の結果をフーリエ変換した結果を示す。 図8(a),(b)は、観察装置1A(図1)および観察装置B(図2)それぞれの構成における観察対象物Sから出力される物体光について説明する図である。 図9(a),(b)は、観察装置1A(図1)および観察装置B(図2)それぞれの構成における観察対象物Sから出力される物体光について説明する図である。 図10は、解析部50の第1複素振幅画像生成部52の処理内容について説明するフローチャートである。 図11は、第1実施形態の観察方法のフローチャートである。 図12は、カーネル関数gを説明する図である。 図13は、2次元位相画像生成ステップS4の第1態様のフローチャートである。 図14は、2次元位相画像生成ステップS4の第2態様のフローチャートである。 図15は、カーネル関数を説明する図である。 図16は、2次元位相画像生成ステップS4の第3態様のフローチャートである。 図17は、観察装置1Cの構成を示す図である。 図18は、観察装置1Dの構成を示す図である。 図19は、屈折率分布測定方法Bのフローチャートである。 図20は、第2複素振幅画像生成ステップS63および2次元位相画像生成ステップS65の各処理の順序および画像を説明する図である。 図21は、第2複素振幅画像生成ステップS63、位相共役演算ステップS64および2次元位相画像生成ステップS65の各処理の順序および画像を説明する図である。 図22は、第2複素振幅画像生成ステップS63、位相共役演算ステップS64および2次元位相画像生成ステップS65の各処理の順序および画像を説明する図である。 図23は、第2複素振幅画像生成ステップS63、位相共役演算ステップS64および2次元位相画像生成ステップS65の各処理の順序および画像を説明する図である。 図24は、3次元位相画像生成ステップS66および屈折率分布算出ステップS67の各処理の順序および画像を説明する図である。 図25は、位相共役演算の概要について説明する図であり、撮像部により干渉強度画像を撮像するときの入力光および出力光を示す図である。 図26は、位相共役演算の概要について説明する図であり、光照射および撮像の関係を逆転させた場合の入力光および出力光を示す図である。 図27は、位相共役演算ステップS64における画像分割、位相共役演算および画像結合を説明する図である。 図28は、観察装置1Eの構成を示す図である。 図29は、観察装置1Fの構成を示す図である。 図30は、屈折率分布測定方法Cのフローチャートである。 図31は、屈折率分布測定方法Cのフローチャートである。 図32は、観察対象物を含む領域と第1~第Jのブロックとの関係を説明する図である。 図33は、第1~第Jのブロックにおける処理の手順を説明する図である。 図34は、BPMの処理内容を説明する図である。 図35は、第3複素振幅画像生成ステップS77のフローチャートである。
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
(第1実施形態)
第1実施形態の装置の構成として、観察装置1Aおよび観察装置1Bについて説明する。図1は、観察装置1Aの構成を示す図である。この観察装置1Aは、光源10、ビームスプリッタ21、ミラー22、ミラー23、シリンドリカルレンズ24、レンズ25、シリンドリカルレンズ26、ビームスプリッタ27、レンズ28、周波数シフタ30、撮像部40および解析部50を備える。
観察装置1Aは、シリンドリカルレンズ24とレンズ25との間を第1方向に沿って移動している観察対象物Sを観察するものである。例えば、観察対象物Sは、フローサイトメータにおいて流路に沿って流れる細胞である。この図には、説明の便宜の為にxyz直交座標系が示されている。観察対象物Sの移動方向(図中の矢印の方向)をx方向(第1方向)とする。シリンドリカルレンズ24およびレンズ25の光軸の方向をz方向とする。x方向およびz方向の双方に直交する方向をy方向(第2方向)とする。
光源10は、空間的・時間的にコヒーレントな光を出力するものであり、好適にはレーザ光源である。ビームスプリッタ21は、光源10と光学的に接続されており、光源10から出力された光を物体光と参照光とに分岐する。ビームスプリッタ21は、物体光をミラー23へ出力し、参照光を周波数シフタ30へ出力する。
周波数シフタ30は、ビームスプリッタ21と光学的に接続されており、ビームスプリッタ21から到達した参照光を入力する。周波数シフタ30は、この参照光の光周波数をヘテロダイン周波数だけシフトさせて、当該シフト後の参照光を出力する。ミラー22は、周波数シフタ30と光学的に接続されており、周波数シフタ30から到達した参照光をビームスプリッタ27へ反射させる。
ミラー23は、ビームスプリッタ21と光学的に接続されており、ビームスプリッタ21から到達した物体光をシリンドリカルレンズ24へ反射させる。シリンドリカルレンズ24は、ミラー23と光学的に接続されており、ミラー23から到達した物体光を観察対象物Sに対し照射する照射光学系である。シリンドリカルレンズ24は、観察対象物Sにおいてy方向(第2方向)に延在するライン状の領域に物体光を集光照射する。観察対象物Sに照射される光の波数ベクトルのx成分kの値は或る一定範囲にあり、y成分kの値は或る一定値である。
シリンドリカルレンズ24により観察対象物Sに照射されて観察対象物Sを経た物体光は、結像光学系を構成するレンズ25、シリンドリカルレンズ26およびレンズ28を順に経て、撮像部40の撮像面に到達する。
ビームスプリッタ27は、シリンドリカルレンズ26とレンズ28との間に設けられている。ビームスプリッタ27は、シリンドリカルレンズ26から到達した物体光を入力するとともに、ミラー22から到達した参照光を入力して、これら物体光と参照光とを合波して出力する。このとき、ビームスプリッタ27は、物体光および参照光を互いに同軸として出力する。
光源10から撮像部40に到るまでの光学系は、干渉光学系を構成しており、観察対象物Sを経た物体光と参照光と干渉させる(干渉ステップ)。周波数シフタ30は、物体光および参照光それぞれの光周波数をヘテロダイン周波数だけ互いに異ならせるものである(変調ステップ)。周波数シフタ30は例えば音響光学素子を用いて構成され得る。周波数シフタ30は、参照光の光路上に設けられてもよいし、物体光の光路上に設けられてもよい。
撮像部40は、干渉光学系から出力された物体光および参照光を受光する撮像面を有し、撮像面における物体光と参照光との干渉による干渉強度画像を撮像して、その撮像により得られた干渉強度画像の時系列データを解析部50へ出力する(撮像ステップ)。
解析部50は、撮像部40と電気的に接続されており、撮像部40から出力される干渉強度画像の時系列データを入力して所要の解析を行う(解析ステップ)。解析部50は、干渉強度画像の時系列データに基づいて、物体光の複数の光照射方向それぞれの複素振幅画像を生成し、これらの複数の光照射方向それぞれの複素振幅画像に基づいて、観察対象物Sの3次元複素微分干渉画像を生成する。さらに、解析部50は、3次元複素微分干渉画像に基づいて観察対象物Sの3次元屈折率分布を求める。解析部50の詳細については後述する。
図2は、観察装置1Bの構成を示す図である。この観察装置1B(図2)は、観察装置1A(図1)の構成と比較すると、周波数シフタ30を備えていない点で相違し、物体光および参照光が互いに異なる方向から撮像部40の撮像面へ入射する点で相違する。この相違に応じて、解析部50の処理内容の一部が相違する。
図3は、観察装置1A(図1)および観察装置B(図2)それぞれの構成におけるレンズ25、シリンドリカルレンズ26およびレンズ28を含む結像光学系を説明する図である。図3(a)はy方向に見た図であり、図3(b)はx方向に見た図である。x方向については、レンズ25の瞳面と撮像部40の撮像面とは互いに共役の位置関係にあり、すなわち、観察対象物Sと撮像部40の撮像面とは互いにフーリエ変換の位置関係にある。y方向については、観察対象物Sと撮像部40の撮像面とは互いに共役の位置関係にある。
観察装置1A(図1)および観察装置B(図2)それぞれの解析部50は、撮像部40から出力される干渉強度画像の時系列データに基づいて所要の演算を行う。解析部50は、コンピュータであってよい。解析部50は、干渉強度画像取得部51、第1複素振幅画像生成部52、第2複素振幅画像生成部53、2次元位相画像生成部54、3次元位相画像生成部55、屈折率分布算出部56、表示部57および記憶部58を備える。
干渉強度画像取得部51は、撮像部40から出力される干渉強度画像の時系列データを取得する。干渉強度画像取得部51は、CPUを含み、また、撮像部40から出力される干渉強度画像のデータを入力する入力ポートを有する。
第1複素振幅画像生成部52、第2複素振幅画像生成部53、2次元位相画像生成部54、3次元位相画像生成部55および屈折率分布算出部56は、干渉強度画像の時系列データに基づいて処理を行うものであり、CPU、GPU、DSPまたはFPGA等の処理装置を含む。表示部57は、処理すべき画像、処理途中の画像および処理後の画像などを表示するものであり、例えば液晶ディスプレイを含む。記憶部58は、各種の画像のデータを記憶するものであり、ハードディスクドライブ、フラッシュメモリ、RAMおよびROM等を含む。第1複素振幅画像生成部52、第2複素振幅画像生成部53、2次元位相画像生成部54、3次元位相画像生成部55、屈折率分布算出部56および記憶部58は、クラウドコンピューティングによって構成されてもよい。
記憶部58は、干渉強度画像取得部51、第1複素振幅画像生成部52、第2複素振幅画像生成部53、2次元位相画像生成部54、3次元位相画像生成部55および屈折率分布算出部56に各処理を実行させるためのプログラムをも記憶する。このプログラムは、観察装置の製造時または出荷時に記憶部58に記憶されていてもよいし、出荷後に通信回線を経由して取得されたものが記憶部58に記憶されてもよいし、コンピュータ読み取り可能な記録媒体2に記録されていたものが記憶部58に記憶されてもよい。記録媒体2は、フレキシブルディスク、CD-ROM、DVD-ROM、BD-ROM、USBメモリなど任意である。
干渉強度画像取得部51、第1複素振幅画像生成部52、第2複素振幅画像生成部53、2次元位相画像生成部54、3次元位相画像生成部55および屈折率分布算出部56それぞれの処理の詳細については後述する。
観察装置1A(図1)は、周波数シフタ30を設けることで、時間変調による干渉強度画像を取得するものである。これに対して、観察装置1B(図2)は、物体光および参照光を互いに異なる方向から撮像部40の撮像面へ入射させることで、空間変調による干渉強度画像を取得するものである。観察装置1A(図1)と観察装置B(図2)とは、このような光学系の相違に応じて、解析部50の第1複素振幅画像生成部52の処理が相違する。
図4および図5は、観察装置1A(図1)の解析部50の第1複素振幅画像生成部52の処理内容について説明する図である。撮像部40から出力される干渉強度画像の時系列データ(図4(a))は、光照射方向kと第2方向位置yとからなる平面上の各時刻tでの干渉強度画像であり、下記(1)式のI(k,y,t)で表される。u(k,y,t)は物体光の複素振幅であり、urefは参照光の複素振幅である。或る光照射方向kx0且つ或る第2方向位置yでの時刻tを変数とするデータI(kx0,y,t)(図4(b))をtについてフーリエ変換すると、その光照射方向kx0・第2方向位置yでの周波数スペクトルI(kx0,y,f)(図5(a))が得られる。fは周波数である。
Figure 2023079446000002
この周波数スペクトルには、ヘテロダイン周波数だけ離間した3つのピークが現れる。3つのピークのうち、中央のピークは(1)式最右辺の第1項および第2項によるものであり、左右の2つのピークは(1)式最右辺の第3項または第4項によるものである。この周波数スペクトルにおける左右の2つのピークのうち何れか一方のピークの周辺(図5(a)において破線の矩形で囲った範囲)を切り出し、そのピーク周波数が0となるように平行移動させる(図5(b))。そして、これを周波数fについてフーリエ変換すると、或る光照射方向kx0且つ第2方向位置yでの物体光の複素振幅u(kx0,y,t)が得られる。全ての光照射方向kおよび第2方向位置yについて同様の処理を行うことで、物体光の複素振幅画像の時系列データu(k,y,t)が得られる。
図6および図7は、観察装置1B(図2)の解析部50の第1複素振幅画像生成部52の処理内容について説明する図である。撮像部40から出力される干渉強度画像の時系列データ(図6(a))は、光照射方向kと第2方向位置yとからなる平面上の各時刻tでの干渉強度画像であり、上記(1)式のI(k,y,t)で表される。或る光照射方向kx0且つ或る時刻tでの第2方向位置yを変数とするデータI(kx0,y,t)(図6(b))をyについてフーリエ変換すると、その光照射方向kx0・時刻tでの空間波数スペクトルI(kx0,k,t)(図7(a))が得られる。kはy方向の空間波数である。
この空間波数スペクトルには、撮像部40の撮像面に入射する物体光と参照光との角度に応じた波数差だけ離間した3つのピークが現れる。3つのピークのうち、中央のピークは(1)式最右辺の第1項および第2項によるものであり、左右の2つのピークは(1)式最右辺の第3項または第4項によるものである。この空間波数スペクトルにおける左右の2つのピークのうち何れか一方のピークの周辺(図7(a)において破線の矩形で囲った範囲)を切り出し、そのピーク周波数が0となるように平行移動させる(図7(b))。そして、これを空間波数kについてフーリエ変換すると、或る光照射方向kx0且つ或る時刻tでの物体光の複素振幅u(kx0,y,t)が得られる。全ての光照射方向kおよび時刻tについて同様の処理を行うことで、物体光の複素振幅画像の時系列データu(k,y,t)が得られる。
以上のようにして、観察装置1A(図1)および観察装置B(図2)の何れの構成においても、解析部50の第1複素振幅画像生成部52は、撮像部40から出力される干渉強度画像の時系列データI(k,y,t)に基づいて、撮像部40の撮像面に到達した物体光の複素振幅画像の時系列データu(k,y,t)を得ることができる。更に、次のようにして、解析部50の第1複素振幅画像生成部52は、物体光の複素振幅画像の時系列データu(k,y,t)に基づいて、複数の光照射方向それぞれの複素振幅画像を生成する。
図8および図9は、観察装置1A(図1)および観察装置B(図2)それぞれの構成における観察対象物Sから出力される物体光について説明する図である。
仮に、観察対象物が静止していて、観察対象物が波数ベクトルkで表される単一の空間的波数を有するものであり、その観察対象物への入射波が波数ベクトルkinで表される単一の波数を有する平面波であるとする。このとき、観察対象物から出力される物体光の波数ベクトルkoutは、下記(2)式のとおり、ベクトルkとベクトルkinとの和で表される。
Figure 2023079446000003
仮に、観察対象物が一定の速度ベクトルVで移動していて、観察対象物が波数ベクトルkで表される単一の空間的波数を有するものであり、その観察対象物への入射波が波数ベクトルkinで表される単一の波数を有する平面波であるとする。このとき、観察対象物から出力される物体光の波数ベクトルkoutは、上記(2)式のとおり、ベクトルkとベクトルkinとの和で表される。また、観察対象物から出力される物体光にはドップラーシフトが生じ、そのドップラー周波数ωは、下記(3)式のとおり、ベクトルkとベクトルVとの内積で表される。すなわち、図8(a)に示されるように、ドップラー周波数ωを横軸とし、出力される物体光の波数ベクトルkoutの大きさを縦軸とした平面において、観察対象物から出力される物体光のωおよびkoutは1点で表されることになる。
Figure 2023079446000004
仮に、観察対象物が一定の速度ベクトルVで移動していて、観察対象物が様々な空間的波数を有するものであり、その観察対象物への入射波が波数ベクトルkinで表される単一の波数を有する平面波であるとする。このとき、観察対象物から出力される物体光の波数ベクトルkoutは上記(2)式で表され、ドップラー周波数ωは上記(3)式で表される。しかし、観察対象物が様々な空間的波数kを有することから、図8(b)に示されるように、ドップラー周波数ωを横軸とし、出力される物体光の波数ベクトルkoutの大きさを縦軸とした平面において、観察対象物から出力される物体光のωおよびkoutは1本の直線上である。
観察対象物が一定の速度ベクトルVで移動していて、観察対象物が様々な空間的波数を有するものであり、その観察対象物への入射波が様々な波数ベクトルを有するものであるとする。このとき、観察対象物が様々な空間的波数kを有し、かつ、入射波が様々な波数ベクトルkinを有することから、図9(a)に示されるように、ドップラー周波数ωを横軸とし、出力される物体光の波数ベクトルkoutの大きさを縦軸とした平面において、観察対象物から出力される物体光のωおよびkoutは平行四辺形の領域内にある。
観察装置1A(図1)および観察装置B(図2)それぞれの構成において観察対象物Sから出力される物体光のωおよびkoutは、図9(a)に示されるようにω-kout平面において平行四辺形の領域内にある。この図9(a)中に示されるkout max,kout min,kin max,kin min は、観察対象物の前または後の光学系のNAにより決まる値である。図9(a)中に示される斜めの破線(この図では3本が示されている。)上ではkinが一定である。上記(3)式の関係を用いることで、図9(a)のω-kout平面から、図9(b)のkin-kout平面へ変換することができる。解析部50の第1複素振幅画像生成部52は、これを利用して、物体光の複素振幅画像u(k,y,t)に基づいて、複数の光照射方向それぞれの複素振幅画像を生成する。
すなわち、図10に示されるように、第1複素振幅画像生成部52は、u(k,y,t)をtについてフーリエ変換して、U(k,y,ω)を求める。続いて、上記(3)式の関係を用いて、U(k,y,ω)からU(k,y,kin)へ変換する。ここで、koutはkである。更に続いて、U(k,y,kin)をkについてフーリエ変換して、u(x,y,kin)を求める。
このようにして、解析部50の第1複素振幅画像生成部52は、撮像部40から出力された干渉強度画像の時系列データI(k,y,t)に基づいて、撮像部40の撮像面に到達した物体光の複素振幅画像の時系列データu(k,y,t)を得ることができ、更に、この物体光の複素振幅画像の時系列データu(k,y,t)に基づいて、複数の光照射方向kinそれぞれの複素振幅画像u(x,y)を生成することができる。
図11は、第1実施形態の観察方法のフローチャートである。この観察方法は、観察装置1Aおよび観察装置1Bの何れを用いた場合においても可能なものである。この観察方法は、干渉強度画像取得ステップS1、第1複素振幅画像生成ステップS2、第2複素振幅画像生成ステップS3、2次元位相画像生成ステップS4、3次元位相画像生成ステップS5および屈折率分布算出ステップS6を備える。
干渉強度画像取得ステップS1の処理は干渉強度画像取得部51により行われる。第1複素振幅画像生成ステップS2の処理は第1複素振幅画像生成部52により行われる。第2複素振幅画像生成ステップS3の処理は第2複素振幅画像生成部53により行われる。2次元位相画像生成ステップS4の処理は2次元位相画像生成部54により行われる。3次元位相画像生成ステップS5の処理は3次元位相画像生成部55により行われる。屈折率分布算出ステップS6の処理は屈折率分布算出部56により行われる。
干渉強度画像取得ステップS1において、干渉強度画像取得部51は、撮像部40から出力される干渉強度画像の時系列データを取得する。第1複素振幅画像生成ステップS2において、第1複素振幅画像生成部52は、前述したとおり、干渉強度画像取得部51により取得された時系列データI(k,y,t)に基づいて、撮像部40の撮像面に到達した物体光の複素振幅画像の時系列データu(k,y,t)を求め、更に、この物体光の複素振幅画像の時系列データu(k,y,t)に基づいて、複数の光照射方向kinそれぞれの複素振幅画像u(x,y)を生成する。
第2複素振幅画像生成ステップS3において、第2複素振幅画像生成部53は、複数の光照射方向それぞれについて、第1複素振幅画像生成部52により生成された基準位置(z=0)の複素振幅画像に基づいて、複数のz方向位置それぞれの複素振幅画像を生成する。基準位置の複素振幅画像u(x,y,0)の2次元フーリエ変換をU(k,k,0)とすると、z=dの位置の複素振幅画像u(x,y,d)、および、この複素振幅画像u(x,y,d)の2次元フーリエ変換U(k,k,d)は、下記式で表される。iは虚数単位であり、kは観察対象物中における光の波数である。
Figure 2023079446000005
Figure 2023079446000006
2次元位相画像生成ステップS4において、2次元位相画像生成部54は、複数の位置それぞれについて、第2複素振幅画像生成部53により生成された複数の光照射方向それぞれの複素振幅画像に基づいて2次元位相画像を生成する。ここで生成される2次元位相画像は、フォーカスを合わせたz方向位置を中心とする位相画像に相当する。2次元位相画像生成ステップS4の詳細については後述する。
なお、第2複素振幅画像生成ステップS3において複数の光照射方向それぞれについて複数の位置それぞれの複素振幅画像を全て生成した後に、2次元位相画像生成ステップS4以降の処理を行ってもよい。また、第2複素振幅画像生成ステップS3において複数の光照射方向それぞれについて或る1つのz方向位置の複素振幅画像を生成し、該位置の2次元位相画像を2次元位相画像生成ステップS4において生成する処理を単位として、z方向位置を走査しながら当該単位処理を繰り返し行ってもよい。後者の場合には、記憶部58が記憶しておくべき画像データの容量を小さくすることができる点で好ましい。
3次元位相画像生成ステップS5において、3次元位相画像生成部55は、2次元位相画像生成部54により生成された複数の位置それぞれの2次元位相画像に基づいて3次元位相画像を生成する。ここで生成される3次元位相画像は、2次元位相画像中での位置x,yおよび該2次元位相画像の位置zを変数とする画像である。
屈折率分布算出ステップS6において、屈折率分布算出部56は、3次元位相画像生成部55により生成された3次元位相画像に基づいて、デコンボリューションにより観察対象物の3次元屈折率分布を求める。観察対象物の屈折率分布をn(x,y,z)とし、電気感受率分布をf(x,y,z)とし、背景の媒質の屈折率をnとすると、両者の間には下記(6)式の関係がある。3次元位相画像生成部55により生成された3次元位相画像Φ(x,y,z)は、下記(7)式のとおり、カーネル関数g(x,y,z)と電気感受率分布f(x,y,z)とのコンボリューションで表される。したがって、観察対象物の3次元屈折率分布n(x,y,z)は、3次元位相画像Φ(x,y,z)に基づいてデコンボリューションにより求めることができる。
Figure 2023079446000007
Figure 2023079446000008
なお、カーネル関数gは、波動方程式の解に対応するグリーン関数に基づくものである。図12は、カーネル関数gを説明する図である。この図において、カーネル関数gの値が最も大きい中心位置が原点であり、縦方向がz軸であり、横方向がz軸に垂直な方向である。
次に、第1実施形態の観察方法における2次元位相画像生成ステップS4の詳細について説明する。2次元位相画像生成ステップS4において、2次元位相画像生成部54は、複数の位置それぞれについて、第2複素振幅画像生成部53により生成された複数の光照射方向それぞれの複素振幅画像に基づいて2次元位相画像を生成する。2次元位相画像生成ステップS4は、以下に説明する3つの態様が可能である。
図13は、2次元位相画像生成ステップS4の第1態様のフローチャートである。この第1態様では、2次元位相画像生成ステップS4は、複数の位置それぞれについて、ステップS11において、複数の光照射方向それぞれの複素振幅画像の位相を光照射方向に基づいて補正した後、これら補正後の複素振幅画像の総和を表す複素振幅総和画像を生成し、ステップS12において、この複素振幅総和画像に基づいて2次元位相画像を生成する。
ステップS11の処理は、CASS(Collective Accumulation of SingleScattering)技術によるものである。或る光照射方向に沿って対象物に照射されて該対象物を経た光のうち、対象物と一回のみ相互作用した単一散乱光の空間周波数分布は光照射方向に応じてシフトしているのに対して、対象物と複数回相互作用した多重散乱光の空間周波数分布は光照射方向によってランダムに変化する。CASS技術は、このような単一散乱光および多重散乱光それぞれの空間周波数分布の光照射方向依存性の相違を利用する。
すなわち、ステップS11では、複数の光照射方向それぞれの複素振幅画像の位相を光照射方向に基づいて補正する(つまり、空間周波数領域において複素振幅画像の空間周波数分布を光照射方向に応じて平行移動する)ことにより、複素振幅画像のうちの単一散乱光成分の空間周波数分布を光照射方向に依存しない形状および配置とし、その一方で、複素振幅画像のうちの多重散乱光成分の空間周波数分布をランダムな形状および配置とする。そして、ステップS11では、これら補正後の複数の複素振幅画像の総和を表す複素振幅総和画像を生成する(つまり、合成開口処理をする)ことにより、複素振幅画像のうちの単一散乱光成分をコヒーレントに足し合わせ、その一方で、複素振幅画像のうちの多重散乱光成分を互いに相殺させる。
したがって、ステップS11で生成される複素振幅総和画像は、多重散乱光の影響が低減されたものとなる。そして、最終的に屈折率分布算出ステップS6で得られる3次元屈折率分布も、多重散乱光の影響が低減されて、スペックルが抑制されSMRが改善されたものとなる。
図14は、2次元位相画像生成ステップS4の第2態様のフローチャートである。この第2態様では、2次元位相画像生成ステップS4は、複数の位置それぞれについて、ステップS21において、複数の光照射方向それぞれの複素振幅画像に基づいて複数の光照射方向それぞれの複素微分干渉画像を生成し、ステップS22において、複数の光照射方向それぞれの複素微分干渉画像の総和に基づいて位相微分画像を生成し、ステップS23において、位相微分画像に基づいて2次元位相画像を生成する。
z=dの位置の複素振幅画像をu(x,y,d)とすると、ステップS21で生成される複素微分干渉画像q(x,y,d)は下記(8)式で表される。δxおよびδyのうち少なくとも一方は非0である。δx≠0,δy=0であれば、x方向をシアー方向とする複素微分干渉画像qが得られる。δx=0,δy≠0であれば、y方向をシアー方向とする複素微分干渉画像qが得られる。δx≠0,δy≠0であれば、x方向およびy方向の何れとも異なる方向をシアー方向とする複素微分干渉画像qが得られる。なお、複素微分干渉画像q(x,y,d)は、複素振幅画像u(x,y,d)を下記(9)式のように変換した後に(8)式で求めてもよい。
Figure 2023079446000009
Figure 2023079446000010
複数の光照射方向それぞれの複素微分干渉画像qの総和をqsum(x,y,d)とすると、ステップS22で生成される位相微分画像φ(x,y,z)は、qsum(x,y,d)の位相として下記(10)式で表される。ステップS23では、この位相微分画像φ(x,y,z)を積分またはデコンボリューションすることにより、2次元位相画像を生成することができる。
Figure 2023079446000011
なお、ステップS21において、複素振幅画像上の互いに異なる複数のシアー方向それぞれについて複素微分干渉画像を生成してもよい。この場合、2次元位相画像生成ステップS4は、複数の位置それぞれについて、ステップS21において、複数の光照射方向それぞれの複素振幅画像に基づいて該画像上の互いに異なる複数のシアー方向それぞれについて複数の光照射方向それぞれの複素微分干渉画像を生成し、ステップS22において、複数のシアー方向それぞれについて、複数の光照射方向それぞれの複素微分干渉画像の総和に基づいて位相微分画像を生成し、ステップS23において、複数のシアー方向それぞれの位相微分画像に基づいて2次元位相画像を生成する。
ステップS22で複数の光照射方向それぞれの複素微分干渉画像の総和に基づいて生成される位相微分画像は、多重散乱光の影響が低減されたものとなる。そして、最終的に屈折率分布算出ステップS6で得られる3次元屈折率分布も、多重散乱光の影響が低減されて、スペックルが抑制されたものとなる。また、ステップS21において複素振幅画像上の互いに異なる複数のシアー方向それぞれについて複素微分干渉画像を生成する場合には、ステップS23で得られる2次元位相画像にライン状のノイズが現れるのを抑制することができる。
ここでは、ステップS23において位相微分画像を積分またはデコンボリューションすることにより2次元位相画像を生成する場合を説明した。しかし、位相微分画像を2次元位相画像として扱うこともできる。この場合、ステップS23を行うことなく、屈折率分布算出ステップS67のデコンボリューションにおいて、ステップS23のデコンボリューションで用いたカーネルを含むカーネル(図15)を用いることにより、ステップS22で生成された位相微分画像(2次元位相画像)から観察対象物の3次元屈折率分布を求めることができる。図15に示されるカーネルは、図12に示したカーネルとステップS23のデコンボリューションで用いるカーネルとを畳み込み積分することにより得られる。
図16は、2次元位相画像生成ステップS4の第3態様のフローチャートである。この第3態様では、2次元位相画像生成ステップS4は、複数の位置それぞれについて、ステップS31において、複数の光照射方向それぞれの複素振幅画像を複数のバッチに区分し、複数のバッチそれぞれについて、該バッチに含まれる複素振幅画像の位相を光照射方向に基づいて補正した後、これら補正後の複素振幅画像の総和を表す複素振幅総和画像を生成し、ステップS32において、複数のバッチそれぞれの複素振幅総和画像に基づいて複数のバッチそれぞれの複素微分干渉画像を生成し、ステップS33において、複数のバッチそれぞれの複素微分干渉画像の総和に基づいて位相微分画像を生成し、ステップS34において、位相微分画像に基づいて2次元位相画像を生成する。
第3態様のステップS31の処理は、複数の光照射方向それぞれの複素振幅画像を複数のバッチに区分した上で、複数のバッチそれぞれについて第1態様のステップS11の処理を行うことに相当する。第3態様のステップS32,S33の処理は、複数のバッチそれぞれについて第2態様のステップS21,S22の処理を行うことに相当する。第3態様のステップS34の処理は、第2態様のステップS23の処理を行うことに相当する。
なお、ステップS32において、複素振幅画像上の互いに異なる複数のシアー方向それぞれについて複素微分干渉画像を生成してもよい。この場合、2次元位相画像生成ステップS4は、ステップS32において、複数のバッチそれぞれの複素振幅総和画像に基づいて該画像上の互いに異なる複数のシアー方向それぞれについて複数のバッチそれぞれの複素微分干渉画像を生成し、ステップS33において、複数のシアー方向それぞれについて、複数のバッチそれぞれの複素微分干渉画像の総和に基づいて位相微分画像を生成し、ステップS34において、複数のシアー方向それぞれの位相微分画像に基づいて2次元位相画像を生成する。
第3態様におけるスペックルの抑制は、第1態様および第2態様と同程度である。第3態様におけるSMRの改善は、第1態様と第2態様との中間の程度である。
ここでも、ステップS34において位相微分画像を積分またはデコンボリューションすることにより2次元位相画像を生成する場合を説明した。しかし、位相微分画像を2次元位相画像として扱うこともできる。この場合、ステップS34を行うことなく、屈折率分布算出ステップS6のデコンボリューションにおいて、ステップS34のデコンボリューションで用いたカーネルを含むカーネルを用いることにより、ステップS33で生成された位相微分画像(2次元位相画像)から観察対象物の3次元屈折率分布を求めることができる。
本実施形態によれば、移動している観察対象物が多重散乱体である場合であっても、多重散乱光の影響を低減して観察対象物を観察することができる。
(第2実施形態)
第2実施形態の装置の構成として、観察装置1Cおよび観察装置1Dについて説明する。図17に示される観察装置1Cは、図1に示された観察装置1Aの構成と比較すると、光源10から撮像部40に到るまでの光学系については共通であるが、解析部50に替えて解析部60を備える点で相違する。図18に示される観察装置1Dは、図2に示された観察装置1Bの構成と比較すると、光源10から撮像部40に到るまでの光学系については共通であるが、解析部50に替えて解析部60を備える点で相違する。
解析部60は、撮像部40と電気的に接続されており、撮像部40から出力される干渉強度画像の時系列データを入力する。解析部60は、干渉強度画像の時系列データに基づいて、物体光の複数の光照射方向それぞれの複素振幅画像を生成し、これらの複数の光照射方向それぞれの複素振幅画像に基づいて、観察対象物Sの3次元複素微分干渉画像を生成する。さらに、解析部60は、3次元複素微分干渉画像に基づいて観察対象物Sの3次元屈折率分布を求める。解析部60は、コンピュータであってよい。解析部60は、干渉強度画像取得部61、第1複素振幅画像生成部62、第2複素振幅画像生成部63、位相共役演算部64、2次元位相画像生成部65、3次元位相画像生成部66、屈折率分布算出部67、表示部68および記憶部69を備える。
干渉強度画像取得部61は、撮像部40から出力される干渉強度画像の時系列データを取得する。干渉強度画像取得部61は、CPUを含み、また、撮像部40から出力される干渉強度画像のデータを入力する入力ポートを有する。
第1複素振幅画像生成部62、第2複素振幅画像生成部63、位相共役演算部64、2次元位相画像生成部65、3次元位相画像生成部66および屈折率分布算出部67は、干渉強度画像の時系列データに基づいて処理を行うものであり、CPU、GPU、DSPまたはFPGA等の処理装置を含む。表示部68は、処理すべき画像、処理途中の画像および処理後の画像などを表示するものであり、例えば液晶ディスプレイを含む。記憶部69は、各種の画像のデータを記憶するものであり、ハードディスクドライブ、フラッシュメモリ、RAMおよびROM等を含む。第1複素振幅画像生成部62、第2複素振幅画像生成部63、位相共役演算部64、2次元位相画像生成部65、3次元位相画像生成部66、屈折率分布算出部67および記憶部69は、クラウドコンピューティングによって構成されてもよい。
記憶部69は、干渉強度画像取得部61、第1複素振幅画像生成部62、第2複素振幅画像生成部63、位相共役演算部64、2次元位相画像生成部65、3次元位相画像生成部66および屈折率分布算出部67に各処理を実行させるためのプログラムをも記憶する。このプログラムは、観察装置1Aの製造時または出荷時に記憶部69に記憶されていてもよいし、出荷後に通信回線を経由して取得されたものが記憶部69に記憶されてもよいし、コンピュータ読み取り可能な記録媒体2に記録されていたものが記憶部69に記憶されてもよい。記録媒体2は、フレキシブルディスク、CD-ROM、DVD-ROM、BD-ROM、USBメモリなど任意である。
干渉強度画像取得部61、第1複素振幅画像生成部62、第2複素振幅画像生成部63、位相共役演算部64、2次元位相画像生成部65、3次元位相画像生成部66および屈折率分布算出部67それぞれの処理の詳細については後述する。
図19は、第2実施形態の観察方法のフローチャートである。この観察方法は、観察装置1Cおよび観察装置1Dの何れを用いた場合においても可能なものである。この観察方法は、干渉強度画像取得ステップS61、第1複素振幅画像生成ステップS62、第2複素振幅画像生成ステップS63、位相共役演算ステップS64、2次元位相画像生成ステップS65、3次元位相画像生成ステップS66および屈折率分布算出ステップS67を備える。
干渉強度画像取得ステップS61の処理は干渉強度画像取得部61により行われる。第1複素振幅画像生成ステップS62の処理は第1複素振幅画像生成部62により行われる。第2複素振幅画像生成ステップS63の処理は第2複素振幅画像生成部63により行われる。位相共役演算ステップS64の処理は位相共役演算部64により行われる。2次元位相画像生成ステップS65の処理は2次元位相画像生成部65により行われる。3次元位相画像生成ステップS66の処理は3次元位相画像生成部66により行われる。屈折率分布算出ステップS67の処理は屈折率分布算出部67により行われる。
干渉強度画像取得ステップS61において、干渉強度画像取得部61は、撮像部40から出力される干渉強度画像の時系列データを取得する。第1複素振幅画像生成ステップS62において、第1複素振幅画像生成部62は、干渉強度画像取得部61により取得された時系列データI(k,y,t)に基づいて、撮像部40の撮像面に到達した物体光の複素振幅画像の時系列データu(k,y,t)を求め、更に、この物体光の複素振幅画像の時系列データu(k,y,t)に基づいて、複数の光照射方向kinそれぞれの複素振幅画像u(x,y)を生成する。
第2複素振幅画像生成ステップS63において、第2複素振幅画像生成部63は、複数の光照射方向それぞれについて、第1複素振幅画像生成部62により生成された基準位置(z=0)の複素振幅画像に基づいて、複数のz方向位置それぞれの複素振幅画像を生成する。
第2実施形態の観察方法における干渉強度画像取得ステップS61、第1複素振幅画像生成ステップS62および第2複素振幅画像生成ステップS63は、それぞれ、第1実施形態の観察方法における干渉強度画像取得ステップS1、第1複素振幅画像生成ステップS2および第2複素振幅画像生成ステップS3と同様の処理を行う。
位相共役演算ステップS64は、第2複素振幅画像生成ステップS63の処理の後に行われる。位相共役演算ステップS64は、第2複素振幅画像生成ステップS63の処理の前に行われてもよい(後述)。また、第2複素振幅画像生成ステップS63が基準位置の複素振幅画像から複数段階を経て或るz位置の複素振幅画像を生成する場合には、その複数段階のうちの或る段階と次の段階との間において位相共役演算ステップS64が行われてもよい(後述)。位相共役演算ステップS64において、位相共役演算部64は、複数の照射方向それぞれの複素振幅画像に対して位相共役演算を行って、観察対象物に対する光照射および撮像の関係を逆転させた場合の複数の照射方向それぞれの複素振幅画像を生成する。
なお、位相共役演算は、位相共役法(phase conjugate method)に基づく複素振幅画像に対する演算であり、対象物における光照射と光出力との関係を表すトランスミッション行列を計算し、その逆行列計算と座標変換と含む演算である。位相共役法は、位相共役(phase conjugation)、時間反転法(time reversal method)、時間反転(time reversal)、デジタル位相共役(digital phase conjugation)、デジタル位相共役法(digital phase conjugate method)等と呼ばれる場合もある。詳細については後述する。
2次元位相画像生成ステップS65において、2次元位相画像生成部65は、複数の位置それぞれについて、第2複素振幅画像生成部63または位相共役演算部64により生成された複数の光照射方向それぞれの複素振幅画像に基づいて2次元位相画像を生成する。ここで生成される2次元位相画像は、フォーカスを合わせたz方向位置を中心とする位相画像に相当する。
2次元位相画像生成ステップS65において、位相共役演算ステップS64の処理を行う前の複素振幅画像に基づいて生成される位相画像を第1位相画像とし、位相共役演算ステップS64の処理を行って求められた複素振幅画像に基づいて生成される位相画像を第2位相画像としたとき、複数の位置のうち、撮像部に対し相対的に近い位置については主として第1位相画像に基づいて2次元位相画像を生成し、撮像部に対し相対的に遠い位置については主として第2位相画像に基づいて2次元位相画像を生成する。
なお、第2複素振幅画像生成ステップS63において複数の光照射方向それぞれについて複数の位置それぞれの複素振幅画像を全て生成した後に、位相共役演算部64以降の処理を行ってもよい。また、第2複素振幅画像生成ステップS63において複数の光照射方向それぞれについて或る1つのz方向位置の複素振幅画像を生成し、該位置の2次元位相画像を2次元位相画像生成ステップS65において生成する処理を単位として、z方向位置を走査しながら当該単位処理を繰り返し行ってもよい。後者の場合には、記憶部69が記憶しておくべき画像データの容量を小さくすることができる点で好ましい。
3次元位相画像生成ステップS66において、3次元位相画像生成部66は、2次元位相画像生成部65により生成された複数の位置それぞれの2次元位相画像に基づいて3次元位相画像を生成する。ここで生成される3次元位相画像は、2次元位相画像中での位置x,yおよび該2次元位相画像の位置zを変数とする画像である。
屈折率分布算出ステップS67において、屈折率分布算出部67は、3次元位相画像生成部66により生成された3次元位相画像に基づいて、デコンボリューションにより観察対象物の3次元屈折率分布を求める。
第2実施形態の観察方法における2次元位相画像生成ステップS65、3次元位相画像生成ステップS66および屈折率分布算出ステップS67は、それぞれ、第1実施形態の観察方法における2次元位相画像生成ステップS4、3次元位相画像生成ステップS5および屈折率分布算出ステップS6と同様の処理を行う。
図20は、第2複素振幅画像生成ステップS63および2次元位相画像生成ステップS65の各処理の順序および画像を説明する図である。この図は、位相共役演算ステップS64の処理を行わない態様を示す。この態様では、第2複素振幅画像生成ステップS63において、複数の光照射方向それぞれについて、上記(4)式および(5)式の自由伝搬の式により、第1複素振幅画像生成ステップS62で生成された基準位置(z=0)の複素振幅画像に基づいて、複数のz方向位置(この図ではz=z,z,z)それぞれの複素振幅画像が生成される。そして、2次元位相画像生成ステップS65において、複数の位置それぞれについて、第2複素振幅画像生成ステップS63で生成された複数の光照射方向それぞれの複素振幅画像に基づいて、複素微分干渉画像が生成され、さらに位相微分画像が生成される。
図21~図23は、第2複素振幅画像生成ステップS63、位相共役演算ステップS64および2次元位相画像生成ステップS65の各処理の順序および画像を説明する図である。これらの図は、第2複素振幅画像生成ステップS63の処理の前、途中または後で位相共役演算ステップS64の処理を行う態様を示す。
図21に示される第1態様は、図19のフローチャートに対応するものである。この第1態様では、位相共役演算ステップS64は、第2複素振幅画像生成ステップS63の処理の後に行われる。第2複素振幅画像生成ステップS63において、複数の光照射方向それぞれについて、上記(4)式および(5)式の自由伝搬の式により、第1複素振幅画像生成ステップS62で生成された基準位置(z=0)の複素振幅画像に基づいて、複数のz方向位置(この図ではz=z,z,z)それぞれの複素振幅画像が生成される。
第1態様では、続いて、位相共役演算ステップS64において、複数の位置それぞれについて、複数の照射方向それぞれの複素振幅画像に対して位相共役演算が行われて、観察対象物に対する光照射および撮像の関係を逆転させた場合の複数の照射方向それぞれの複素振幅画像が生成される。そして、2次元位相画像生成ステップS65において、複数の位置それぞれについて、位相共役演算ステップS64で生成された複数の光照射方向それぞれの複素振幅画像に基づいて、複素微分干渉画像が生成され、さらに位相微分画像が生成される。
図22に示される第2態様では、位相共役演算ステップS64は、第2複素振幅画像生成ステップS63の処理の前に行われる。位相共役演算ステップS64において、複数の光照射方向それぞれについて、第1複素振幅画像生成ステップS62で生成された基準位置(z=0)の複素振幅画像に対して位相共役演算が行われて、観察対象物に対する光照射および撮像の関係を逆転させた場合の複数の照射方向それぞれの複素振幅画像が生成される。
第2態様では、続いて、第2複素振幅画像生成ステップS63において、複数の光照射方向それぞれについて、上記(4)式および(5)式の自由伝搬の式により、位相共役演算ステップS64で生成された基準位置(z=0)の複素振幅画像に基づいて、複数のz方向位置(この図ではz=z,z,z)それぞれの複素振幅画像が生成される。そして、2次元位相画像生成ステップS65において、複数の位置それぞれについて、第2複素振幅画像生成ステップS63で生成された複数の光照射方向それぞれの複素振幅画像に基づいて、複素微分干渉画像が生成され、さらに位相微分画像が生成される。
図23に示される第3態様では、第2複素振幅画像生成ステップS63が基準位置の複素振幅画像から2つの段階を経て複数の位置それぞれの複素振幅画像を生成する場合に、その2つの段階のうちの第1段階と第2段階との間において位相共役演算ステップS64が行われる。
第3態様では、第2複素振幅画像生成ステップS63の第1段階において、複数の光照射方向それぞれについて、上記(4)式および(5)式の自由伝搬の式により、第1複素振幅画像生成ステップS62で生成された基準位置(z=0)の複素振幅画像に基づいて、複数のz方向位置(この図ではz=z,z,z)それぞれの複素振幅画像が生成される。続いて、位相共役演算ステップS64において、複数の照射方向それぞれの複素振幅画像に対して位相共役演算が行われて、観察対象物に対する光照射および撮像の関係を逆転させた場合の複数の照射方向それぞれの複素振幅画像が生成される。
第3態様では、更に続いて、第2複素振幅画像生成ステップS63の第2段階において、複数の光照射方向それぞれについて、上記(4)式および(5)式の自由伝搬の式により、位相共役演算ステップS64で生成されたz方向位置(z=z,z,z)の複素振幅画像に基づいて、z方向位置(z=z,z,z)それぞれの複素振幅画像が生成される。そして、2次元位相画像生成ステップS65において、複数の位置それぞれについて、第2複素振幅画像生成ステップS63で生成された複数の光照射方向それぞれの複素振幅画像に基づいて、複素微分干渉画像が生成され、さらに位相微分画像が生成される。
これらの第1態様、第2態様および第3態様の間では、位相共役演算ステップS64における複素振幅画像に対する位相共役演算の回数が異なる。位相共役演算ステップS64の全体の処理時間は、第1態様より第3態様の方が短く、第2態様では更に短い。
図24は、3次元位相画像生成ステップS66および屈折率分布算出ステップS67の各処理の順序および画像を説明する図である。3次元位相画像生成ステップS66において、2次元位相画像生成ステップS65で生成された複数の位置それぞれの2次元位相画像に基づいて3次元位相画像が生成される。このとき、撮像部に対し相対的に近い位置については、位相共役演算ステップS64の処理を行う前の複素振幅画像に基づいて生成された2次元位相画像(図20の態様で生成された2次元位相画像)が主として採用される。一方、撮像部に対し相対的に遠い位置については、位相共役演算ステップS64の処理を行った後の複素振幅画像に基づいて生成された2次元位相画像(図21~図23の何れかの態様で生成された2次元位相画像)が主として採用される。続いて、屈折率分布算出ステップS67において、3次元位相画像生成ステップS66で生成された3次元位相画像に基づいて、デコンボリューションにより観察対象物の3次元屈折率分布が求められる。
z方向の各位置の2次元位相画像の生成は、次のような3つの態様がある。位相共役演算ステップS64の処理を行う前の複素振幅画像に基づいて生成される位相画像(図20の態様で生成される位相画像)を第1位相画像φとする。位相共役演算ステップS64の処理を行った後の複素振幅画像に基づいて生成される位相画像(図21~図23の何れかの態様で生成される位相画像)を第2位相画像φとする。光伝搬経路に沿った撮像部からの距離を表す変数zに対する微係数が0以下である重み関数αを用いる。重み関数の値は0以上1以下である。
第1態様では、重み関数αは、zが閾値zth以下である範囲において正値(例えば1)であり、それ以外の範囲において値が0であるとする。すなわち、2次元位相画像は下記(11)式で表される。
Figure 2023079446000012
第2態様では、重み関数αは、z方向の少なくとも一部範囲において連続的に値が変化するものとする。すなわち、2次元位相画像は下記(12)式で表される。
Figure 2023079446000013
第3態様では、重み関数αは、光軸(z方向)に直交する面における位置(x,y)に応じた値を有するものとする。すなわち、2次元位相画像は下記(13)式で表される。
Figure 2023079446000014
次に、図25および図26を用いて、位相共役演算ステップS64による位相共役演算の内容について説明する。
図25は、撮像部により干渉強度画像を撮像するときの入力光Uin(kin)および出力光uout(rout)を示す図である。Uin(kin)は、観察対象物へ照射される光の波数kinの複素振幅を表す。uout(rout)は、観察対象物から出力される光の位置routの複素振幅を表す。Uin(kin)とuout(rout)との間の関係は、下記(14)式で表される。列ベクトルUinの第n要素Uin(kin n)は、波数kin nの平面波の複素振幅を表す。列ベクトルuoutの第n要素uout(rout n)は、位置rout nで観測される光の複素振幅を表す。N行N列の行列T(rout,kin)は、Uin(kin)とuout(rout)との間の線形な関係を表すものであって、トランスミッション行列と呼ばれる。このようなトランスミッション行列により、観察対象物における光の散乱過程を表すことができる。行列T(rout,kin)の第n1行第n2列の要素Tn1,n2は、波数kin n2で振幅1の平面波が入力されたときに位置rout n1で観測される光の複素振幅を表す。
Figure 2023079446000015
図26は、光照射および撮像の関係を逆転させた場合の入力光Uout(kout)および出力光uin(rin)を示す図である。この場合、Uout(kout)は、観察対象物へ照射される光の波数koutの複素振幅を表す。uin(rin)は、観察対象物から出力される光の位置rinの複素振幅を表す。Uout(kout)とuin(rin)との間の関係は、下記(15)式で表される。列ベクトルUoutの第n要素Uout(kout n)は、波数kout nの平面波の複素振幅を表す。列ベクトルuinの第n要素uin(rin n)は、位置rin nで観測される光の複素振幅を表す。N行N列の行列S(rin,kout)は、Uout(kout)とuin(rin)との間の線形な関係を表すものであって、光照射および撮像の関係を逆転させた場合のトランスミッション行列である。
Figure 2023079446000016
in(kin)は、下記(16)式のようにuin(rin)のフーリエ変換で表される。Uout(kout)は、下記(17)式のようにuout(rout)のフーリエ変換で表される。(14)式~(17)式を用いると、光照射および撮像の関係を逆転させた場合のトランスミッション行列S(rin,kout)は、逆フーリエ変換を表す行列とトランスミッション行列T(rout,kin)を用いて下記(18)式で表される。
Figure 2023079446000017
Figure 2023079446000018
Figure 2023079446000019
位相共役演算ステップS64では、まず、複素振幅画像に基づいて、撮像部により干渉強度画像を撮像したときのトランスミッション行列T(rout,kin)を求める。次に、このトランスミッション行列T(rout,kin)および上記(18)式に基づいて、光照射および撮像の関係を逆転させた場合のトランスミッション行列S(rin,kout)を求める。そして、このトランスミッション行列S(rin,kout)に基づいて、光照射および撮像の関係を逆転させた場合の複素振幅画像を求める。
複数の光照射方向それぞれについて撮像部により干渉強度画像を撮像するときの第nの光照射方向の入力光のベクトルUin n(kin)は、下記(19)式で表され、第n要素の値のみが1であって、他の要素の値が0である。この入力光Uin n(kin)に対して、出力光uout n(rout)は、下記(20)式で表される。この(20)式は、第nの光照射方向の際に得られた複素振幅に対応する。
Figure 2023079446000020
Figure 2023079446000021
この(19)式および上記(14)式から、下記(21)式が得られる。そして、複数の光照射方向それぞれについて同様に求めると、下記(22)式が得られる。このようにして、トランスミッション行列T(rout,kin)を求めることができる。さらに、この(22)式および上記(18)式から、光照射および撮像の関係を逆転させた場合のトランスミッション行列S(rin,kout)を求めることができる。
Figure 2023079446000022
Figure 2023079446000023
光照射および撮像の関係を逆転させた場合の複数の光照射方向のうちの第nの光照射方向の入力光Uout n(kout)は、下記(23)式で表され、第n要素の値のみが1であって、他の要素の値が0である。この式から、この入力光Uout n(kout)に対する出力光uin n(rin)は、下記(24)式で表される。この(24)式は、光照射および撮像の関係を逆転させた場合の複素振幅を表す。このようにして、光照射および撮像の関係を逆転させた場合の複素振幅画像を求めることができる。
Figure 2023079446000024
Figure 2023079446000025
光照射および撮像の関係を逆転させた場合のトランスミッション行列S(rin,kout)を求める際に、上記(18)式に示されるとおり、トランスミッション行列T(rout,kin)の逆行列を計算する必要がある。したがって、トランスミッション行列Tは、行要素の数と列要素の数とが互いに等しい正方行列であることが必要である。すなわち、干渉強度画像取得ステップS61の際の観察対象物に対する光照射側波数空間における行列の次元(matrix dimension)と、複素振幅画像の画素数とは、互いに等しいことが必要である。
両者を互いに等しくするには、干渉強度画像取得ステップS61の際の観察対象物に対する光照射側波数空間における行列の次元を画素数に一致させるか、撮像部により得られた画像のうち一部範囲の画像のみを爾後の処理に用いるかすればよい。しかし、一般には、撮像部により得られる画像の画素数は例えば1024×1024であることから、観察対象物に対する光照射側波数空間における行列の次元を画素数と同じにすることは容易ない。また、撮像部により得られた画像のうち一部範囲の画像のみを爾後の処理に用いることは、解像度の低下につながるので、好ましくない。
そこで、図27に示されるように、位相共役演算ステップS64において、観察対象物に対する光照射側波数空間における行列の次元と同じ画素数を各々有する複数の部分画像に複素振幅画像を分割し、これら複数の部分画像それぞれに対して位相共役演算を行い、その後に複数の部分画像を結合するのが好適である。このとき、複数の部分画像のうち何れか2以上の部分画像が共通の領域を有していてもよい。
本実施形態においても、移動している観察対象物が多重散乱体である場合であっても、多重散乱光の影響を低減して観察対象物を観察することができる。
(第3実施形態)
第3実施形態の装置の構成として、観察装置1Eおよび観察装置1Fについて説明する。図28に示される観察装置1Eは、図1に示された観察装置1Aの構成と比較すると、光源10から撮像部40に到るまでの光学系については共通であるが、解析部50に替えて解析部70を備える点で相違する。図29に示される観察装置1Fは、図2に示された観察装置1Bの構成と比較すると、光源10から撮像部40に到るまでの光学系については共通であるが、解析部50に替えて解析部70を備える点で相違する。
解析部70は、撮像部40と電気的に接続されており、撮像部40から出力される干渉強度画像の時系列データを入力する。解析部70は、干渉強度画像の時系列データに基づいて、物体光の複数の光照射方向それぞれの複素振幅画像を生成し、これらの複数の光照射方向それぞれの複素振幅画像に基づいて、観察対象物Sの3次元複素微分干渉画像を生成する。さらに、解析部70は、3次元複素微分干渉画像に基づいて観察対象物Sの3次元屈折率分布を求める。解析部70は、コンピュータであってよい。解析部70は、干渉強度画像取得部71、第1複素振幅画像生成部72、第2複素振幅画像生成部73、2次元位相画像生成部74、3次元位相画像生成部75、屈折率分布算出部76、第3複素振幅画像生成部77、表示部78および記憶部79を備える。
干渉強度画像取得部71は、撮像部40から出力される干渉強度画像の時系列データを取得する。干渉強度画像取得部71は、CPUを含み、また、撮像部40から出力される干渉強度画像のデータを入力する入力ポートを有する。
第1複素振幅画像生成部72、第2複素振幅画像生成部73、2次元位相画像生成部74、3次元位相画像生成部75、屈折率分布算出部76および第3複素振幅画像生成部77は、干渉強度画像の時系列データに基づいて処理を行うものであり、CPU、GPU、DSPまたはFPGA等の処理装置を含む。表示部78は、処理すべき画像、処理途中の画像および処理後の画像などを表示するものであり、例えば液晶ディスプレイを含む。記憶部79は、各種の画像のデータを記憶するものであり、ハードディスクドライブ、フラッシュメモリ、RAMおよびROM等を含む。第1複素振幅画像生成部72、第2複素振幅画像生成部73、2次元位相画像生成部74、3次元位相画像生成部75、屈折率分布算出部76、第3複素振幅画像生成部77および記憶部79は、クラウドコンピューティングによって構成されてもよい。
記憶部79は、干渉強度画像取得部71、第1複素振幅画像生成部72、第2複素振幅画像生成部73、2次元位相画像生成部74、3次元位相画像生成部75、屈折率分布算出部76および第3複素振幅画像生成部77に各処理を実行させるためのプログラムをも記憶する。このプログラムは、観察装置1Aの製造時または出荷時に記憶部79に記憶されていてもよいし、出荷後に通信回線を経由して取得されたものが記憶部79に記憶されてもよいし、コンピュータ読み取り可能な記録媒体2に記録されていたものが記憶部79に記憶されてもよい。記録媒体2は、フレキシブルディスク、CD-ROM、DVD-ROM、BD-ROM、USBメモリなど任意である。
干渉強度画像取得部71、第1複素振幅画像生成部72、第2複素振幅画像生成部73、2次元位相画像生成部74、3次元位相画像生成部75および屈折率分布算出部76および第3複素振幅画像生成部77それぞれの処理の詳細については後述する。
図30および図31は、第3実施形態の観察方法のフローチャートである。図31は、図30のフローチャートの一部を示す。この観察方法は、観察装置1Eおよび観察装置1Fの何れを用いた場合においても可能なものである。この観察方法は、干渉強度画像取得ステップS71、第1複素振幅画像生成ステップS72、第2複素振幅画像生成ステップS73、2次元位相画像生成ステップS74、3次元位相画像生成ステップS75、屈折率分布算出ステップS76および第3複素振幅画像生成ステップS77を備える。
干渉強度画像取得ステップS71の処理は干渉強度画像取得部71により行われる。第1複素振幅画像生成ステップS72の処理は第1複素振幅画像生成部72により行われる。第2複素振幅画像生成ステップS73の処理は第2複素振幅画像生成部73により行われる。2次元位相画像生成ステップS74の処理は2次元位相画像生成部74により行われる。3次元位相画像生成ステップS75の処理は3次元位相画像生成部75により行われる。屈折率分布算出ステップS76の処理は屈折率分布算出部76により行われる。第3複素振幅画像生成ステップS77の処理は第3複素振幅画像生成部77により行われる。
干渉強度画像取得ステップS71において、干渉強度画像取得部71は、撮像部40から出力される干渉強度画像の時系列データを取得する。第1複素振幅画像生成ステップS72において、第1複素振幅画像生成部72は、干渉強度画像取得部71により取得された時系列データI(k,y,t)に基づいて、撮像部40の撮像面に到達した物体光の複素振幅画像の時系列データu(k,y,t)を求め、更に、この物体光の複素振幅画像の時系列データu(k,y,t)に基づいて、複数の光照射方向kinそれぞれの複素振幅画像u(x,y)を生成する。
第2複素振幅画像生成ステップS73において、第2複素振幅画像生成部73は、複数の光照射方向それぞれについて、光伝搬経路に沿った撮像部40からの距離に関し第1位置の複素振幅画像に基づいて、第1位置から第2位置までの間の複数のz方向位置それぞれの複素振幅画像を生成する。
2次元位相画像生成ステップS74において、2次元位相画像生成部74は、複数の位置それぞれについて、第2複素振幅画像生成部73により生成された複数の光照射方向それぞれの複素振幅画像に基づいて2次元位相画像を生成する。ここで生成される2次元位相画像は、フォーカスを合わせたz方向位置を中心とする位相画像に相当する。
3次元位相画像生成ステップS75において、3次元位相画像生成部75は、2次元位相画像生成部74により生成された複数の位置それぞれの2次元位相画像に基づいて、第1位置から第2位置までの間の3次元位相画像を生成する。ここで生成される3次元位相画像は、2次元位相画像中での位置x,yおよび該2次元位相画像の位置zを変数とする画像である。
屈折率分布算出ステップS76において、屈折率分布算出部76は、3次元位相画像生成部75により生成された3次元位相画像に基づいて、デコンボリューションにより、第1位置から第2位置までの間の観察対象物の3次元屈折率分布を求める。
第3実施形態の観察方法における干渉強度画像取得ステップS71、第1複素振幅画像生成ステップS72、第2複素振幅画像生成ステップS73、2次元位相画像生成ステップS74、3次元位相画像生成ステップS75および屈折率分布算出ステップS76は、それぞれ、第1実施形態の観察方法における干渉強度画像取得ステップS1、第1複素振幅画像生成ステップS2、第2複素振幅画像生成ステップS3、2次元位相画像生成ステップS4、3次元位相画像生成ステップS5および屈折率分布算出ステップS6と略同様の処理を行う。
第3複素振幅画像生成ステップS77において、第3複素振幅画像生成部77は、複数の光照射方向それぞれについて、第2複素振幅画像生成ステップS73で用いた第1位置の複素振幅画像、および、屈折率分布算出ステップS76で算出した第1位置から第2位置までの間の観察対象物の3次元屈折率分布に基づいて、第2位置の複素振幅画像を生成する。
第2複素振幅画像生成ステップS73、2次元位相画像生成ステップS74、3次元位相画像生成ステップS75および屈折率分布算出ステップS76を含むステップS83では、光伝搬経路に沿った撮像部40からの距離に関し第1位置の複素振幅画像に基づいて、第1位置から第2位置までの間の観察対象物の3次元屈折率分布を求める。ステップS83および第3複素振幅画像生成ステップS77の各処理は繰り返し行われる。このことについて、図30~図33を用いて説明する。
図32は、観察対象物を含む領域と第1~第Jのブロックとの関係を説明する図である。この図に示されるように、光伝搬経路(z方向)に沿った撮像部からの距離に基づいて観察対象物を含む領域を順に第1~第Jのブロックに区分する。この図では、J=3としている。第1~第Jのブロックのうちの第jブロックは、z=zj-1からz=zまでの領域である。各第jブロックにおいて、撮像部に対し最も近いz=zj-1の位置(近端)を第1位置とし、撮像部に対し最も遠いz=zの位置(遠端)を第2位置とする。
図33は、第1~第Jのブロックにおける処理の手順を説明する図である。この図に示されるように、各第jブロックについて、ステップS83で、第1位置の複素振幅画像に基づいて、第1位置から第2位置までの間の複数のz方向位置それぞれの複素振幅画像および2次元位相画像を生成し、第1位置から第2位置までの間の3次元位相画像を生成し更に3次元屈折率分布を求める。各第jブロックについて、第3複素振幅画像生成ステップS77で、第1位置の複素振幅画像、および、ステップS83で算出した3次元屈折率分布に基づいて、第2位置の複素振幅画像を生成する。
第3複素振幅画像生成ステップS77で生成された第(j+1)ブロックの第2位置の複素振幅画像は、次の第jブロックの第1位置の複素振幅画像として用いられて、第jブロックについてステップS83および第3複素振幅画像生成ステップS77の各処理が行われる。第1~第Jのブロックそれぞれについて3次元屈折率分布が得られたら、これらを結合することで観察対象物の全体の3次元屈折率分布が得られる。
図30および図31に示されるように、第1複素振幅画像生成ステップS72の後のステップS81においてj=0とされ、続くステップS82においてjの値が1増されてj=1とされて、第1ブロックについてステップS83および第3複素振幅画像生成ステップS77の各処理が行われる。すなわち、撮像部に対し最も近い第1ブロックについては、第1複素振幅画像生成ステップS72で生成した複素振幅画像に基づいて、撮像部に対し最も近いz=zの位置(近端)を第1位置とし、撮像部に対し最も遠いz=zの位置(遠端)を第2位置として、ステップS83(第2複素振幅画像生成ステップS73、2次元位相画像生成ステップS74、3次元位相画像生成ステップS75、屈折率分布算出ステップS76)および第3複素振幅画像生成ステップS77それぞれの処理が順に行われる。その後、ステップS82に戻る。
第jブロック(ここでは、jは2以上J未満)については、第3複素振幅画像生成ステップS77で第(j-1)ブロックについて生成した複素振幅画像に基づいて、撮像部に対し最も近いz=zj-1の位置(近端)を第1位置とし、撮像部に対し最も遠いz=zの位置(遠端)を第2位置として、ステップS83(第2複素振幅画像生成ステップS73、2次元位相画像生成ステップS74、3次元位相画像生成ステップS75、屈折率分布算出ステップS76)および第3複素振幅画像生成ステップS77それぞれの処理が順に行われる。その後、ステップS82に戻る。
撮像部に対し最も遠い最終段ブロックである第Jブロックについては、第3複素振幅画像生成ステップS77で第(J-1)ブロックについて生成した複素振幅画像に基づいて、撮像部に対し最も近いz=zJ-1の位置(近端)を第1位置とし、撮像部に対し最も遠いz=zの位置(遠端)を第2位置として、ステップS83(第2複素振幅画像生成ステップS73、2次元位相画像生成ステップS74、3次元位相画像生成ステップS75、屈折率分布算出ステップS76)の処理が行われる。
第Jブロックについては、ステップS83の後のステップS84において、最終段ブロックであると判断されて、第3複素振幅画像生成ステップS77に進むことなく終了すればよい。なお、第Jブロックについては、3次元位相画像生成ステップS75の後において、最終段ブロックであると判断されて、屈折率分布算出ステップS76に進むことなく終了してもよく、この場合には、観察対象物の全体の3次元位相画像が得られる。
なお、光伝搬経路(z方向)に沿った撮像部からの距離に基づいて観察対象物を含む領域を順に2個のブロックに区分してもよく、その場合には、上述した第1ブロックについての処理および最終段の第Jブロックについての処理を行えばよい。また、観察対象物を含む領域を複数のブロックに区分しなくてもよく、その場合には、ステップS83(第2複素振幅画像生成ステップS73、2次元位相画像生成ステップS74、3次元位相画像生成ステップS75、屈折率分布算出ステップS76)および第3複素振幅画像生成ステップS77それぞれの処理を順に1回のみ行ってもよい。
次に、第3複素振幅画像生成ステップS77の詳細について説明する。観察対象物に光を照射して干渉強度画像を取得する際に、各第jブロックにおいて、第2位置(z=z)の光波面は、第jブロックの内部を伝搬して第1位置(z=zj-1)に到達し更に撮像部まで伝搬する。そこで、第3複素振幅画像生成ステップS77において、第jブロックの屈折率分布を考慮した数値計算により、第1位置(z=zj-1)の光波面を第jブロックの内部を逆伝搬させることで、第2位置(z=z)の光波面を求める。すなわち、第3複素振幅画像生成ステップS77において、複数の光照射方向それぞれについて、第jブロックの第1位置(z=zj-1)の複素振幅画像および第jブロックの屈折率分布に基づいて、第jブロックの第2位置(z=z)の複素振幅画像を生成する。この処理に際して、媒質の屈折率分布を考慮して光波面の伝搬を数値計算する手法が用いられる。このような不均一媒質伝搬の数値計算手法として、BPM(Beam Propagation Method)およびSSNP(Split-Step Non-Paraxial)等が知られている。以下では、第3複素振幅画像生成ステップS77においてBPMを用いた処理について説明する。
図34は、BPMの処理内容を説明する図である。この図は、任意の第jブロックを示している。この図に示されるように、光伝搬経路(z方向)に沿った撮像部からの距離に基づいて第jブロックをM個(この図では7個)のスライス(第1~第Mのスライス)に区分する。各スライスの厚みは波長程度である。
各スライスの厚みは一定であってもよい。ここでは、各スライスの厚みを一定値のΔzとする。第jブロックの第1~第Mのスライスのうちの第mスライスは、位置(zj-1+(m-1)Δz)から位置(zj-1+mΔz)までである。第jブロックの第1位置(z=zj-1)から第2位置(z=z)へ向かって順に、第1~第Mのスライスにおいて順次に、屈折率分布に応じた位相変化を与えて光波面をΔzだけ逆伝搬させる。
なお、第3複素振幅画像生成ステップS77の処理における各スライスの厚みΔzは、第2複素振幅画像生成ステップS73の処理で第1位置から第2位置までの間の複数のz方向位置それぞれの複素振幅画像を生成する際の位置間隔と、異なっていてもよいし、一致していてもよい。
位置zにある厚みΔzのスライスを逆伝搬する際に光波面に与えられる位相変化o(x,y,z)は、下記(25)式で表される。この(25)式中のkは真空中での光の波数である。δn(x,y,z)は、位置zにおける観察対象物の屈折率分布n(x,y,z)と背景(媒質)の屈折率nとの差分であり、下記(26)式で表される。また、cosθは下記(27)式で表される。
Figure 2023079446000026
Figure 2023079446000027
Figure 2023079446000028
第mスライスの位置(z=zj-1+(m-1)Δz)における光の複素振幅をu(x,y,z)とすると、第mスライスの内部を光が逆伝搬した後の位置(z+Δz)における光の複素振幅u(x,y,z+Δz)は、下記(28)式で表される。この(28)式中のP(k,k;Δz)は、下記(29)式で表される。(28)式は、光の複素振幅u(x,y,z)と位相変化o(x,y,z)との積をフーリエ変換し、このフーリエ変換の結果とP(k,k;Δz)との積を逆フーリエ変換することで、厚みΔzのスライスを伝搬した後の位置(z+Δz)における光の複素振幅u(x,y,z+Δz)を求めることを表している。PΔzは、Δzの光伝搬の演算を行う関数である。
Figure 2023079446000029
Figure 2023079446000030
第jブロックの各スライスにおける光波面の伝搬は、下記(30)式~(32)式で表される。すなわち、第jブロックの第1位置(z=zj-1)における光の複素振幅をu(x,y,zj-1)とすると、第jブロックの第1スライスを伝搬した後の光の複素振幅u(x,y,zj-1+Δz)は、下記(30)式で表される。第jブロックの第(m-1)スライスを伝搬した後の光の複素振幅をu(x,y,zj-1+(m-1)Δz)とすると、第jブロックの第mスライスを伝搬した後の光の複素振幅u(x,y,zj-1+mΔz)は、下記(31)式で表される。第jブロックの第(M-1)スライスを伝搬した後の光の複素振幅をu(x,y,zj-1+(M-1)Δz)とすると、第jブロックの第Mスライスを伝搬した後の第2位置(z=z)における光の複素振幅u(x,y,z)は、下記(32)式で表される。
Figure 2023079446000031
Figure 2023079446000032
Figure 2023079446000033
このようにして、第3複素振幅画像生成ステップS77において、第jブロックの屈折率分布を考慮した数値計算により、第1位置(z=zj-1)の光波面を第jブロックの内部をスライス毎に順次に逆伝搬させることで、第2位置(z=z)の光波面を求めることができる。
図35は、第3複素振幅画像生成ステップS77のフローチャートである。ステップS41において、位置zを、第jブロックの第1位置(z=zj-1)に初期化する。ステップS42において、位置zにおける光の複素振幅u(x,y,z)と位相変化o(x,y,z)との相互作用を求める。ステップS43において、その相互作用後の光の波面を距離Δzだけ伝搬させて、位置z+Δzにおける光の複素振幅u(x,y,z+Δz)を求める。ステップS44において、Δzを加算したzを新たなzとする。ステップS44において、位置zが第jブロックの第2位置(z=z)に未だ到達していないと判断されれば、ステップS42に戻って、ステップS42~S44を繰り返す。ステップS44において、位置zが第jブロックの第2位置(z=z)に到達したと判断されれば、第3複素振幅画像生成ステップS77の処理を終了する。終了時に取得された光の複素振幅が第jブロックの第2位置(z=z)における複素振幅となる。
本実施形態においても、移動している観察対象物が多重散乱体である場合であっても、多重散乱光の影響を低減して観察対象物を観察することができる。
なお、自己干渉を用いる観察装置および観察方法でもよい。この場合、観察装置は、干渉光学系を備える必要はない。
本実施形態の観察装置または観察方法は、移動している観察対象物が多重散乱体である場合であっても多重散乱光の影響を低減して観察対象物を観察することができ、例えばフローサイトメータに適用することができる。フローサイトメータにおいて流路に沿って流れる観察対象物がスフェロイドやオルガノイドなどの3次元細胞組織であっても、多重散乱光の影響を低減して3次元細胞組織を観察することができる。
フローサイトメータにおいて本実施形態の観察装置と3次元培養体アナライザとを組み合わせて用いれば、流路に沿って流れる個々の3次元細胞組織について、観察装置により3次元屈折率分布を求め、この3次元屈折率分布に基づいて3次元培養体アナライザにより種別を判定することができる。これにより、種類毎の3次元細胞組織の個数や割合を求めることができる。また、分岐流路を設ければ種類毎に3次元細胞組織を流す方向を別にすることで、3次元組織の分取・選別等が行える。
さらに、旋回培養(フローサイトメータのような流路に沿って細胞を流しながら3次元培養体を形成)を行う場合には、本実施形態の観察装置または観察方法を用いることで、3次元培養体が次第に形成されていく様子を観察することができる。
1A~1F…観察装置、10…光源、21…ビームスプリッタ、22,23…ミラー、24…シリンドリカルレンズ、25…レンズ、26…シリンドリカルレンズ、27…ビームスプリッタ、28…レンズ、30…周波数シフタ、40…撮像部、50…解析部、51…干渉強度画像取得部、52…第1複素振幅画像生成部、53…第2複素振幅画像生成部、54…2次元位相画像生成部、55…3次元位相画像生成部、56…屈折率分布算出部、57…表示部、58…記憶部、60…解析部、61…干渉強度画像取得部、62…第1複素振幅画像生成部、63…第2複素振幅画像生成部、64…位相共役演算部、65…2次元位相画像生成部、66…3次元位相画像生成部、67…屈折率分布算出部、68…表示部、69…記憶部、70…解析部、71…干渉強度画像取得部、72…第1複素振幅画像生成部、73…第2複素振幅画像生成部、74…2次元位相画像生成部、75…3次元位相画像生成部、76…屈折率分布算出部、77…第3複素振幅画像生成部、78…表示部、79…記憶部。

Claims (18)

  1. 光源から出力された光を物体光と参照光とに分岐し、第1方向に沿って移動している観察対象物に対し前記物体光を照射し、前記観察対象物を経た前記物体光と前記参照光とを合波して出力する干渉光学系と、
    前記干渉光学系の分岐から合波までの間の前記物体光または前記参照光の光路上に設けられ、前記物体光および前記参照光それぞれの光周波数をヘテロダイン周波数だけ互いに異ならせる周波数シフタと、
    前記干渉光学系から出力された前記物体光および前記参照光を受光する撮像面を有し、前記撮像面における前記物体光と前記参照光との干渉による干渉強度画像を撮像して、前記干渉強度画像の時系列データを出力する撮像部と、
    前記干渉強度画像の時系列データに基づいて解析を行う解析部と、
    を備え、
    前記干渉光学系は、
    前記観察対象物に対し前記物体光を照射する際に、前記観察対象物において前記第1方向に対し垂直な第2方向に延在するライン状の領域に前記物体光を集光照射する照射光学系と、
    前記観察対象物を経た前記物体光を前記撮像面に導く際に、前記第1方向については前記観察対象物と前記撮像面とを互いにフーリエ変換の位置関係とし、前記第2方向については前記観察対象物と前記撮像面とを互いに共役の位置関係とする結像光学系と、
    を含み、
    前記物体光および前記参照光を互いに同軸として前記撮像面へ入射させ、
    前記解析部は、前記干渉強度画像の時系列データに基づいて、前記照射光学系による前記観察対象物への前記物体光の集光照射の際の複数の光照射方向および複数の位置それぞれの複素微分干渉画像を生成し、これらの複素微分干渉画像に基づいて前記観察対象物の3次元位相画像を生成する、
    観察装置。
  2. 光源から出力された光を物体光と参照光とに分岐し、第1方向に沿って移動している観察対象物に対し前記物体光を照射し、前記観察対象物を経た前記物体光と前記参照光とを合波して出力する干渉光学系と、
    前記干渉光学系から出力された前記物体光および前記参照光を受光する撮像面を有し、前記撮像面における前記物体光と前記参照光との干渉による干渉強度画像を撮像して、前記干渉強度画像の時系列データを出力する撮像部と、
    前記干渉強度画像の時系列データに基づいて解析を行う解析部と、
    を備え、
    前記干渉光学系は、
    前記観察対象物に対し前記物体光を照射する際に、前記観察対象物において前記第1方向に対し垂直な第2方向に延在するライン状の領域に前記物体光を集光照射する照射光学系と、
    前記観察対象物を経た前記物体光を前記撮像面に導く際に、前記第1方向については前記観察対象物と前記撮像面とを互いにフーリエ変換の位置関係とし、前記第2方向については前記観察対象物と前記撮像面とを互いに共役の位置関係とする結像光学系と、
    を含み、
    前記物体光および前記参照光を互いに異なる方向から前記撮像面へ入射させ、
    前記解析部は、前記干渉強度画像の時系列データに基づいて、前記照射光学系による前記観察対象物への前記物体光の集光照射の際の複数の光照射方向および複数の位置それぞれの複素微分干渉画像を生成し、これらの複素微分干渉画像に基づいて前記観察対象物の3次元位相画像を生成する、
    観察装置。
  3. 前記解析部は、
    前記撮像部から前記干渉強度画像の時系列データを取得する干渉強度画像取得部と、
    前記干渉強度画像の時系列データに基づいて前記複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成部と、
    前記複数の光照射方向それぞれについて、前記第1複素振幅画像生成部により生成された前記複素振幅画像に基づいて複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成部と、
    前記複数の位置それぞれについて、前記複数の光照射方向それぞれの前記複素振幅画像に基づいて前記複数の光照射方向それぞれの複素微分干渉画像を生成し、前記複数の光照射方向それぞれの前記複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成部と、
    前記複数の位置それぞれの前記2次元位相画像に基づいて3次元位相画像を生成する3次元位相画像生成部と、
    を備える、
    請求項1または2に記載の観察装置。
  4. 前記解析部は、
    前記撮像部から前記干渉強度画像の時系列データを取得する干渉強度画像取得部と、
    前記干渉強度画像の時系列データに基づいて前記複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成部と、
    前記複数の光照射方向それぞれについて、前記第1複素振幅画像生成部により生成された前記複素振幅画像に基づいて複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成部と、
    前記複数の位置それぞれについて、前記複数の光照射方向それぞれの前記複素振幅画像を複数のバッチに区分し、前記複数のバッチそれぞれについて該バッチに含まれる前記複素振幅画像の位相を光照射方向に基づいて補正した後これら補正後の複素振幅画像の総和を表す複素振幅総和画像を生成し、前記複数のバッチそれぞれの前記複素振幅総和画像に基づいて前記複数のバッチそれぞれの複素微分干渉画像を生成し、前記複数のバッチそれぞれの前記複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成部と、
    前記複数の位置それぞれの前記2次元位相画像に基づいて3次元位相画像を生成する3次元位相画像生成部と、
    を備える、
    請求項1または2に記載の観察装置。
  5. 前記解析部は、
    前記撮像部から前記干渉強度画像の時系列データを取得する干渉強度画像取得部と、
    前記干渉強度画像の時系列データに基づいて前記複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成部と、
    前記複数の光照射方向それぞれについて、前記複素振幅画像に基づいて複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成部と、
    前記第2複素振幅画像生成部による処理の前、途中または後において、前記複数の光照射方向それぞれの前記複素振幅画像に対して位相共役演算を行って、前記観察対象物に対する光照射および撮像の関係を逆転させた場合の複数の光照射方向それぞれの複素振幅画像を生成する位相共役演算部と、
    前記複数の位置それぞれについて、前記第2複素振幅画像生成部または前記位相共役演算部により生成された前記複数の光照射方向それぞれの前記複素振幅画像に基づいて前記複数の光照射方向それぞれの複素微分干渉画像を生成し、前記複数の光照射方向それぞれの前記複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成部と、
    前記複数の位置それぞれの前記2次元位相画像に基づいて3次元位相画像を生成する3次元位相画像生成部と、
    を備え、
    前記2次元位相画像生成部は、前記位相共役演算部による演算を行う前の前記複素振幅画像に基づいて生成される位相画像を第1位相画像とし、前記位相共役演算部による演算を行って求められた前記複素振幅画像に基づいて生成される位相画像を第2位相画像としたとき、前記複数の位置のうち、前記撮像部に対し相対的に近い位置については主として前記第1位相画像に基づいて前記2次元位相画像を生成し、前記撮像部に対し相対的に遠い位置については主として前記第2位相画像に基づいて前記2次元位相画像を生成する、
    請求項1または2に記載の観察装置。
  6. 前記解析部は、前記3次元位相画像に基づいて前記観察対象物の3次元屈折率分布を求める屈折率分布算出部を更に備える、
    請求項3~5の何れか1項に記載の観察装置。
  7. 前記解析部は、
    前記撮像部から前記干渉強度画像の時系列データを取得する干渉強度画像取得部と、
    前記干渉強度画像の時系列データに基づいて前記複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成部と、
    前記複数の光照射方向それぞれについて、光伝搬経路に沿った前記撮像部からの距離に関し第1位置の複素振幅画像に基づいて前記第1位置から第2位置までの間の複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成部と、
    前記複数の位置それぞれについて、前記複数の光照射方向それぞれの前記複素振幅画像に基づいて前記複数の光照射方向それぞれの複素微分干渉画像を生成し、前記複数の光照射方向それぞれの前記複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成部と、
    前記複数の位置それぞれの前記2次元位相画像に基づいて前記第1位置から前記第2位置までの間の3次元位相画像を生成する3次元位相画像生成部と、
    前記3次元位相画像に基づいて前記第1位置から前記第2位置までの間の前記観察対象物の3次元屈折率分布を求める屈折率分布算出部と、
    前記複数の光照射方向それぞれについて、前記第1位置の前記複素振幅画像および前記3次元屈折率分布に基づいて前記第2位置の複素振幅画像を生成する第3複素振幅画像生成部と、
    を備え、
    前記第1複素振幅画像生成部により生成した前記複素振幅画像に基づいて、前記第2複素振幅画像生成部、前記2次元位相画像生成部、前記3次元位相画像生成部、前記屈折率分布算出部および前記第3複素振幅画像生成部それぞれの処理を順に行う、
    請求項1または2に記載の観察装置。
  8. 前記2次元位相画像生成部は、前記複数の光照射方向それぞれの前記複素微分干渉画像の総和に基づいて前記2次元位相画像を生成する、
    請求項3~7のいずれか一項に記載の観察装置。
  9. 光源から出力された光を物体光と参照光とに分岐し、第1方向に沿って移動している観察対象物に対し前記物体光を照射し、前記観察対象物を経た前記物体光と前記参照光とを合波して出力する干渉光学系により、前記物体光と前記参照光とを干渉させる干渉ステップと、
    前記干渉光学系の分岐から合波までの間の前記物体光または前記参照光の光路上に設けられた周波数シフタにより、前記物体光および前記参照光それぞれの光周波数をヘテロダイン周波数だけ互いに異ならせる変調ステップと、
    前記干渉光学系から出力された前記物体光および前記参照光を受光する撮像面を有する撮像部により、前記撮像面における前記物体光と前記参照光との干渉による干渉強度画像を撮像して、前記干渉強度画像の時系列データを出力する撮像ステップと、
    前記干渉強度画像の時系列データに基づいて解析を行う解析ステップと、
    を備え、
    前記干渉光学系は、
    前記観察対象物に対し前記物体光を照射する際に、前記観察対象物において前記第1方向に対し垂直な第2方向に延在するライン状の領域に前記物体光を集光照射する照射光学系と、
    前記観察対象物を経た前記物体光を前記撮像面に導く際に、前記第1方向については前記観察対象物と前記撮像面とを互いにフーリエ変換の位置関係とし、前記第2方向については前記観察対象物と前記撮像面とを互いに共役の位置関係とする結像光学系と、
    を含み、
    前記物体光および前記参照光を互いに同軸として前記撮像面へ入射させ、
    前記解析ステップでは、前記干渉強度画像の時系列データに基づいて、前記照射光学系による前記観察対象物への前記物体光の集光照射の際の複数の光照射方向および複数の位置それぞれの複素微分干渉画像を生成し、これらの複素微分干渉画像に基づいて前記観察対象物の3次元位相画像を生成する、
    観察方法。
  10. 光源から出力された光を物体光と参照光とに分岐し、第1方向に沿って移動している観察対象物に対し前記物体光を照射し、前記観察対象物を経た前記物体光と前記参照光とを合波して出力する干渉光学系により、前記物体光と前記参照光とを干渉させる干渉ステップと、
    前記干渉光学系から出力された前記物体光および前記参照光を受光する撮像面を有する撮像部により、前記撮像面における前記物体光と前記参照光との干渉による干渉強度画像を撮像して、前記干渉強度画像の時系列データを出力する撮像ステップと、
    前記干渉強度画像の時系列データに基づいて解析を行う解析ステップと、
    を備え、
    前記干渉光学系は、
    前記観察対象物に対し前記物体光を照射する際に、前記観察対象物において前記第1方向に対し垂直な第2方向に延在するライン状の領域に前記物体光を集光照射する照射光学系と、
    前記観察対象物を経た前記物体光を前記撮像面に導く際に、前記第1方向については前記観察対象物と前記撮像面とを互いにフーリエ変換の位置関係とし、前記第2方向については前記観察対象物と前記撮像面とを互いに共役の位置関係とする結像光学系と、
    を含み、
    前記物体光および前記参照光を互いに異なる方向から前記撮像面へ入射させ、
    前記解析ステップでは、前記干渉強度画像の時系列データに基づいて、前記照射光学系による前記観察対象物への前記物体光の集光照射の際の複数の光照射方向および複数の位置それぞれの複素微分干渉画像を生成し、これらの複素微分干渉画像に基づいて前記観察対象物の3次元位相画像を生成する、
    観察方法。
  11. 前記解析ステップは、
    前記撮像部から前記干渉強度画像の時系列データを取得する干渉強度画像取得ステップと、
    前記干渉強度画像の時系列データに基づいて前記複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成ステップと、
    前記複数の光照射方向それぞれについて、前記第1複素振幅画像生成ステップにより生成された前記複素振幅画像に基づいて複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成ステップと、
    前記複数の位置それぞれについて、前記複数の光照射方向それぞれの前記複素振幅画像に基づいて前記複数の光照射方向それぞれの複素微分干渉画像を生成し、前記複数の光照射方向それぞれの前記複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成ステップと、
    前記複数の位置それぞれの前記2次元位相画像に基づいて3次元位相画像を生成する3次元位相画像生成ステップと、
    を備える、
    請求項9または10に記載の観察方法。
  12. 前記解析ステップは、
    前記撮像部から前記干渉強度画像の時系列データを取得する干渉強度画像取得ステップと、
    前記干渉強度画像の時系列データに基づいて前記複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成ステップと、
    前記複数の光照射方向それぞれについて、前記第1複素振幅画像生成ステップにより生成された前記複素振幅画像に基づいて複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成ステップと、
    前記複数の位置それぞれについて、前記複数の光照射方向それぞれの前記複素振幅画像を複数のバッチに区分し、前記複数のバッチそれぞれについて該バッチに含まれる前記複素振幅画像の位相を光照射方向に基づいて補正した後これら補正後の複素振幅画像の総和を表す複素振幅総和画像を生成し、前記複数のバッチそれぞれの前記複素振幅総和画像に基づいて前記複数のバッチそれぞれの複素微分干渉画像を生成し、前記複数のバッチそれぞれの前記複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成ステップと、
    前記複数の位置それぞれの前記2次元位相画像に基づいて3次元位相画像を生成する3次元位相画像生成ステップと、
    を備える、
    請求項9または10に記載の観察方法。
  13. 前記解析ステップは、
    前記撮像部から前記干渉強度画像の時系列データを取得する干渉強度画像取得ステップと、
    前記干渉強度画像の時系列データに基づいて前記複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成ステップと、
    前記複数の光照射方向それぞれについて、前記複素振幅画像に基づいて複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成ステップと、
    前記第2複素振幅画像生成ステップによる処理の前、途中または後において、前記複数の光照射方向それぞれの前記複素振幅画像に対して位相共役演算を行って、前記観察対象物に対する光照射および撮像の関係を逆転させた場合の複数の光照射方向それぞれの複素振幅画像を生成する位相共役演算ステップと、
    前記複数の位置それぞれについて、前記第2複素振幅画像生成ステップまたは前記位相共役演算ステップにより生成された前記複数の光照射方向それぞれの前記複素振幅画像に基づいて前記複数の光照射方向それぞれの複素微分干渉画像を生成し、前記複数の光照射方向それぞれの前記複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成ステップと、
    前記複数の位置それぞれの前記2次元位相画像に基づいて3次元位相画像を生成する3次元位相画像生成ステップと、
    を備え、
    前記2次元位相画像生成ステップは、前記位相共役演算ステップによる演算を行う前の前記複素振幅画像に基づいて生成される位相画像を第1位相画像とし、前記位相共役演算ステップによる演算を行って求められた前記複素振幅画像に基づいて生成される位相画像を第2位相画像としたとき、前記複数の位置のうち、前記撮像部に対し相対的に近い位置については主として前記第1位相画像に基づいて前記2次元位相画像を生成し、前記撮像部に対し相対的に遠い位置については主として前記第2位相画像に基づいて前記2次元位相画像を生成する、
    請求項9または10に記載の観察方法。
  14. 前記解析ステップは、前記3次元位相画像に基づいて前記観察対象物の3次元屈折率分布を求める屈折率分布算出ステップを更に備える、
    請求項11~13の何れか1項に記載の観察方法。
  15. 前記解析ステップは、
    前記撮像部から前記干渉強度画像の時系列データを取得する干渉強度画像取得ステップと、
    前記干渉強度画像の時系列データに基づいて前記複数の光照射方向それぞれの複素振幅画像を生成する第1複素振幅画像生成ステップと、
    前記複数の光照射方向それぞれについて、光伝搬経路に沿った前記撮像部からの距離に関し第1位置の複素振幅画像に基づいて前記第1位置から第2位置までの間の複数の位置それぞれの複素振幅画像を生成する第2複素振幅画像生成ステップと、
    前記複数の位置それぞれについて、前記複数の光照射方向それぞれの前記複素振幅画像に基づいて前記複数の光照射方向それぞれの複素微分干渉画像を生成し、前記複数の光照射方向それぞれの前記複素微分干渉画像に基づいて2次元位相画像を生成する2次元位相画像生成ステップと、
    前記複数の位置それぞれの前記2次元位相画像に基づいて前記第1位置から前記第2位置までの間の3次元位相画像を生成する3次元位相画像生成ステップと、
    前記3次元位相画像に基づいて前記第1位置から前記第2位置までの間の前記観察対象物の3次元屈折率分布を求める屈折率分布算出ステップと、
    前記複数の光照射方向それぞれについて、前記第1位置の前記複素振幅画像および前記3次元屈折率分布に基づいて前記第2位置の複素振幅画像を生成する第3複素振幅画像生成ステップと、
    を備え、
    前記第1複素振幅画像生成ステップにより生成した前記複素振幅画像に基づいて、前記第2複素振幅画像生成ステップ、前記2次元位相画像生成ステップ、前記3次元位相画像生成ステップ、前記屈折率分布算出ステップおよび前記第3複素振幅画像生成ステップそれぞれの処理を順に行う、
    請求項9または10に記載の観察方法。
  16. 前記2次元位相画像生成ステップでは、前記複数の光照射方向それぞれの前記複素微分干渉画像の総和に基づいて前記2次元位相画像を生成する、
    請求項11~15の何れか1項に記載の観察方法。
  17. 請求項9~16の何れか1項に記載の観察方法の各ステップをコンピュータに実行させるためのプログラム。
  18. 請求項17に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2021192929A 2021-11-29 2021-11-29 観察装置および観察方法 Pending JP2023079446A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2021192929A JP2023079446A (ja) 2021-11-29 2021-11-29 観察装置および観察方法
US18/704,137 US20240410825A1 (en) 2021-11-29 2022-09-29 Observation device and observation method
EP22898227.8A EP4428521A1 (en) 2021-11-29 2022-09-29 Observation device and observation method
PCT/JP2022/036582 WO2023095442A1 (ja) 2021-11-29 2022-09-29 観察装置および観察方法
CN202280078907.2A CN118451312A (zh) 2021-11-29 2022-09-29 观察装置和观察方法
KR1020247020380A KR20240116484A (ko) 2021-11-29 2022-09-29 관찰 장치 및 관찰 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021192929A JP2023079446A (ja) 2021-11-29 2021-11-29 観察装置および観察方法

Publications (1)

Publication Number Publication Date
JP2023079446A true JP2023079446A (ja) 2023-06-08

Family

ID=86539227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021192929A Pending JP2023079446A (ja) 2021-11-29 2021-11-29 観察装置および観察方法

Country Status (6)

Country Link
US (1) US20240410825A1 (ja)
EP (1) EP4428521A1 (ja)
JP (1) JP2023079446A (ja)
KR (1) KR20240116484A (ja)
CN (1) CN118451312A (ja)
WO (1) WO2023095442A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4464303A1 (en) 2023-05-12 2024-11-20 GC Corporation Base material paste, dental alginate impression material, and method of preparing dental alginate impression material
WO2024262141A1 (ja) * 2023-06-21 2024-12-26 浜松ホトニクス株式会社 観察装置および観察方法
WO2024262140A1 (ja) * 2023-06-21 2024-12-26 浜松ホトニクス株式会社 観察装置および観察方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7530462B1 (ja) 2023-02-17 2024-08-07 浜松ホトニクス株式会社 観察装置および観察方法
JP7530461B1 (ja) 2023-02-17 2024-08-07 浜松ホトニクス株式会社 観察装置および観察方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0942925A (ja) * 1995-08-01 1997-02-14 Olympus Optical Co Ltd アラインメント光学系
JP5856440B2 (ja) * 2011-11-02 2016-02-09 浜松ホトニクス株式会社 観察装置
US9411146B2 (en) 2011-11-02 2016-08-09 Hamamatsu Photonics K.K. Observation device
DE112016002209T5 (de) * 2015-06-23 2018-03-01 Olympus Corporation Bilderlangungsvorrichtung und Bilderlangungsverfahren
KR101855366B1 (ko) * 2016-11-08 2018-05-09 주식회사 토모큐브 간세포 내 지질을 3d 비표지 영상화 및 정량화하는 방법 및 장치
WO2019044336A1 (ja) * 2017-08-30 2019-03-07 公立大学法人兵庫県立大学 ホログラフィック撮像装置および同装置に用いるデータ処理方法
WO2021256202A1 (ja) * 2020-06-18 2021-12-23 浜松ホトニクス株式会社 観察装置および観察方法
JP6918395B1 (ja) * 2021-04-19 2021-08-11 のりこ 安間 撮像装置
JP7058901B1 (ja) * 2021-12-24 2022-04-25 のりこ 安間 3次元撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4464303A1 (en) 2023-05-12 2024-11-20 GC Corporation Base material paste, dental alginate impression material, and method of preparing dental alginate impression material
WO2024262141A1 (ja) * 2023-06-21 2024-12-26 浜松ホトニクス株式会社 観察装置および観察方法
WO2024262140A1 (ja) * 2023-06-21 2024-12-26 浜松ホトニクス株式会社 観察装置および観察方法

Also Published As

Publication number Publication date
KR20240116484A (ko) 2024-07-29
WO2023095442A1 (ja) 2023-06-01
CN118451312A (zh) 2024-08-06
US20240410825A1 (en) 2024-12-12
EP4428521A1 (en) 2024-09-11

Similar Documents

Publication Publication Date Title
JP2023079446A (ja) 観察装置および観察方法
WO2022054305A1 (ja) 観察装置および観察方法
US9581961B2 (en) Holographic microscope, holographic image generation method, and method for acquiring data for holographic image
US9134111B2 (en) Method for optical tomography
KR102154649B1 (ko) 샘플 내의 타겟 오브젝트를 측정하기 위한 고속 이미징 시스템
WO2023095440A1 (ja) 観察装置および観察方法
EP4407360A1 (en) Observation device and observation method
Larivière-Loiselle et al. Polychromatic digital holographic microscopy: a quasicoherent-noise-free imaging technique to explore the connectivity of living neuronal networks
Badon et al. Distortion matrix concept for deep imaging in optical coherence microscopy
WO2023095378A1 (ja) 評価方法、評価装置および情報処理プログラム
KR102081094B1 (ko) 동시 직각 스캐닝 듀얼 빔 광 결맞음 영상시스템
JP7530461B1 (ja) 観察装置および観察方法
Lee Imaging through optical multimode fiber: towards ultra-thin endoscopy
US8485034B2 (en) Acoustic confocal interferometry microscope
JP7530462B1 (ja) 観察装置および観察方法
JP7554859B2 (ja) 観察装置および観察方法
Liu Computational Microscopy for Biomedical Imaging With Deep Learning Assisted Image Analysis
JP2024022035A (ja) ネクローシスを起こした細胞の領域を決定する方法、装置及び情報処理プログラム
JP2024022034A (ja) プログラムされた細胞死を起こした細胞の領域を決定する方法、決定部を備える装置及び決定ステップを含む情報処理プログラム
Kang et al. Simultaneous suppression of scattering and aberration for ultra-high resolution imaging deep within scattering media

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250218