JP7609870B2 - 観察装置および観察方法 - Google Patents
観察装置および観察方法 Download PDFInfo
- Publication number
- JP7609870B2 JP7609870B2 JP2022532443A JP2022532443A JP7609870B2 JP 7609870 B2 JP7609870 B2 JP 7609870B2 JP 2022532443 A JP2022532443 A JP 2022532443A JP 2022532443 A JP2022532443 A JP 2022532443A JP 7609870 B2 JP7609870 B2 JP 7609870B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- observation
- imaging
- optical system
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/14—Condensers affording illumination for phase-contrast observation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
- G01N15/1436—Optical arrangements the optical arrangement forming an integrated apparatus with the sample container, e.g. a flow cell
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1456—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
- G01N15/1459—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals the analysis being performed on a sample stream
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
- G01N2015/1454—Optical arrangements using phase shift or interference, e.g. for improving contrast
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
Landscapes
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Dispersion Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
本開示は、観察装置および観察方法に関するものである。
特許文献1および非特許文献1に記載された観察装置は、光源から出力された光を分岐して物体光および参照光とし、移動している観察対象物を経た物体光と、光周波数をヘテロダイン周波数だけシフトさせた参照光とを合波して、物体光と参照光とをヘテロダイン干渉させる。そして、この観察装置は、カメラの撮像面に到達した干渉光の強度画像の時系列データに基づいて、撮像面における物体光の複素振幅画像の時系列データを取得することができる。
このような観察装置は、観察対象物の移動が速いほど、フレームレートが高いカメラを用いる必要がある。例えば、この観察装置は、フローサイトメータにおいて流路に沿って数m/秒の速さで流れている細胞(観察対象物)を観察する際に用いられ、この場合、フレームレートが100kfpsを超える高速カメラを用いることが望まれる。
H. Iwai, T. Yamauchi, M. Miwa, Y. Yamashita, "Doppler-spectrally encoded imaging of translational objects", Optics Communications, Vol.319, pp.159-169 (2014)
Y. Baek, K. Lee, S. Shin, Y. Park, "Kramers-Kronig holographic imaging for high-space-bandwidth product", Optica, Vol.6 No.1, pp.45-51 (2019)
しかしながら、高速カメラを用いると、撮像により得られる画像データが膨大になり、データ記憶の為の記憶部の容量も大きくなり、データ処理の負荷も大きい。また、高速カメラは高価である。
なお、非特許文献2には、空間的なサンプリング周期を大きくした場合(すなわち、カメラの撮像面における画素間ピッチを大きくした場合)であっても従来と同等の位相画像を得ることができる技術が記載されている。しかし、この技術は、移動している観察対象物を観察する際のカメラのフレームレートを低くすることができるものではない。
実施形態は、移動している観察対象物を観察する際に低速のカメラを撮像部として用いることができる観察装置および観察方法を提供することを目的とする。
実施形態は、観察装置である。観察装置は、(1)光を出力する光源と、(2)光源から出力された光を分岐して物体光および参照光とし、移動している観察対象物を経た物体光と参照光とを合波して出力する干渉光学系と、(3)干渉光学系の分岐から合波までの間の物体光または参照光の光路上に設けられ、物体光または参照光の光周波数をヘテロダイン周波数f0だけシフトさせる変調部と、(4)干渉光学系から出力される物体光により観察対象物の像が形成される位置に配置された撮像面を有し、干渉光学系から出力されて撮像面に到達した物体光および参照光による干渉光の強度画像を取得する撮像部と、(5)撮像面における干渉光の強度画像の時系列データに基づいて、撮像面における物体光の複素振幅画像の時系列データを求める解析部と、を備え、変調部は、撮像面に到達する物体光における観察対象物との相互作用に基づく光周波数のドップラーシフト量の最大値をΔfmaxとしたとき、ヘテロダイン周波数f0をΔfmax以上とし、解析部は、(a)撮像面における物体光の複素振幅画像の時系列データUobj(t)と撮像面における参照光の複素振幅画像の時系列データUref(t)とにより定義される関数χ(t)=log[1+Uobj(t)/Uref(t)] の実部を、撮像面における干渉光の強度画像の時系列データI(t)と撮像面における参照光の強度画像の時系列データIref(t)とに基づいて求め、(b)クラマース・クローニッヒの関係式を用いて関数χ(t)の実部から関数χ(t)の虚部を求め、(c)関数χ(t)に基づいて撮像面における物体光の複素振幅画像の時系列データUobj(t)を求める。
実施形態は、観察方法である。観察方法は、上記構成の光源と、干渉光学系と、変調部と、撮像部と、を用いて、(a)撮像面に到達する物体光における観察対象物との相互作用に基づく光周波数のドップラーシフト量の最大値をΔfmaxとしたとき、変調部によりヘテロダイン周波数f0をΔfmax以上として、撮像部により撮像面における干渉光の強度画像の時系列データを求め、(b)撮像面における物体光の複素振幅画像の時系列データUobj(t)と撮像面における参照光の複素振幅画像の時系列データUref(t)とにより定義される関数χ(t)=log[1+Uobj(t)/Uref(t)] の実部を、撮像面における干渉光の強度画像の時系列データI(t)と撮像面における参照光の強度画像の時系列データIref(t)とに基づいて求め、(c)クラマース・クローニッヒの関係式を用いて関数χ(t)の実部から関数χ(t)の虚部を求め、(d)関数χ(t)に基づいて撮像面における物体光の複素振幅画像の時系列データUobj(t)を求める。
実施形態の観察装置および観察方法によれば、移動している観察対象物を観察する際に低速のカメラを撮像部として用いることができる。
以下、添付図面を参照して、観察装置および観察方法の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではない。
図1は、観察装置1の構成を示す図である。観察装置1は、光源部10、照射光学系20、結像光学系30、変調部40、撮像部50、解析部60、ビームスプリッタ71,72およびミラー73,74を備える。光源部10から撮像部50に至るまでの光路上に配置された構成要素は光学的に接続されている。撮像部50と解析部60とは電気的に接続されている。
観察装置1は、例えばフローサイトメータにおいて流路に沿って一方向に流れている細胞(観察対象物2)を観察する際に好適に用いられ得るものである。観察対象物2は、照射光学系20と結像光学系30との間において移動している。
以降では図中に示されるように、xyz直交座標系を用いて観察装置1を説明する。照射光学系20および結像光学系30の光軸に平行な方向にz軸を設定する。z軸に対し垂直な一方向に観察対象物2が移動しているものとし、その移動方向に平行な方向にx軸を設定する。これらx軸およびz軸の双方に垂直な方向にy軸を設定する。
光源部10は、観察対象物2に照射すべき光を出力する。光源部10は、時間的および空間的にコヒーレントな光を出力するものであり、例えばHe-Neレーザ光源を含む。光源部10は、ビームエキスパンダを含み、これによりビーム径が拡大されたコリメート光を出力するのが好適である。
ビームスプリッタ71は、光源部10と光学的に接続されている。ビームスプリッタ71は、光源部10から到達した光を2分岐して、一方の分岐光を物体光として照射光学系20へ出力し、他方の分岐光を参照光として変調部40へ出力する。
照射光学系20は、ビームスプリッタ71と光学的に接続されている。照射光学系20は、ビームスプリッタ71から到達した物体光を受光し、この物体光を観察対象物2へ照射する。
結像光学系30は、照射光学系20による観察対象物2への物体光照射によって観察対象物2で生じた光(透過光、散乱光など)を受光し、この受光した物体光により、観察対象物2の像を撮像部50の撮像面上に形成する。
変調部40は、ビームスプリッタ71と光学的に接続されている。変調部40は、ビームスプリッタ71から到達した参照光を受光し、この参照光の光周波数をヘテロダイン周波数f0だけシフトさせる。
変調部40は、例えば第1音響光学素子41および第2音響光学素子42を含む構成とすることができる。第1音響光学素子41は、ビームスプリッタ71から到達した参照光を第1変調信号により回折させ、その回折させた参照光を第2音響光学素子42へ出力する。
第2音響光学素子42は、第1音響光学素子41から到達した参照光を第2変調信号により回折させ、その回折させた参照光をミラー73へ出力する。第2音響光学素子42から出力された参照光は、ミラー73及びミラー74により順次に反射され、ビームスプリッタ72に到達する。
第1音響光学素子41に与えられる第1変調信号の周波数と、第2音響光学素子42に与えられる第2変調信号の周波数とは、互いに僅かに異なる。例えば、第1変調信号の周波数は40MHzであり、第2変調信号の周波数は40.040MHzであり、両者の差は40kHzである。第1変調信号および第2変調信号それぞれは正弦波である。
なお、変調部40は必ずしも第1音響光学素子41及び第2音響光学素子42の2つから構成されなくてもよい。すなわち、変調部40は、参照光の光周波数を所定のヘテロダイン周波数だけシフトさせる機能を有するものであればよく、変調部40は1つの変調素子から構成されてもよいし、3つ以上の変調素子を備えてもよい。また、変調部40は、物体光の光路上に配置されていて、物体光の光周波数をヘテロダイン周波数だけシフトさせてもよい。
ビームスプリッタ72は、結像光学系30と光学的に接続されており、結像光学系30から到達した物体光を受光する。また、ビームスプリッタ72は、ミラー74と光学的に接続されており、ミラー74から到達した参照光を受光する。ビームスプリッタ72は、これら受光した物体光および参照光を合波して同軸上に出力し、両光をヘテロダイン干渉させて干渉光とする。ビームスプリッタ71からビームスプリッタ72に至るまでの光学系は、干渉光学系を構成している。
撮像部50は、ビームスプリッタ72と光学的に接続されている。撮像部50は、ビームスプリッタ72から出力されて到達した物体光および参照光による干渉光を受光する。撮像部50の撮像面は、結像光学系30から出力されて到達した物体光により観察対象物2の像が形成される位置に配置されている。ここで形成される像は、観察対象物2の実像であってもよいしフーリエ変換像であってもよい。撮像部50は、ビームスプリッタ72から出力されて撮像面に到達した物体光および参照光による干渉光の強度画像を取得する。
解析部60は、撮像部50と電気的に接続されている。解析部60は、撮像部50により取得された干渉光の強度画像のデータを入力する。解析部60は、撮像部50の撮像面における干渉光の強度画像の時系列データに基づいて、撮像面における物体光の複素振幅画像の時系列データを求める。
解析部60は、撮像部50から干渉光の強度画像のデータを入力する入力部、その入力した干渉光の強度画像のデータおよび処理結果の複素振幅画像のデータ等を記憶する記憶部(例えばハードディスクドライブ、RAM等)、そのデータ等を処理する演算部(例えばCPU、DSPおよびFPGA等)、ならびに、干渉光の強度画像および処理結果の複素振幅画像などを表示する表示部(例えば液晶ディスプレイ等)を含む。解析部60は例えばコンピュータ、スマートデバイスまたはクラウドコンピューティングである。
図2は、観察装置1の照射光学系20および結像光学系30の構成例を示す図である。この図は、照射光学系20または結像光学系30を構成する各レンズによる物体光の収斂またはコリメートの作用について、y軸方向に見た場合を破線で示し、x軸方向に見た場合を実線で示す。
照射光学系20は、レンズ21,22を含む。これらのレンズのうち、レンズ21は、シリンドリカルレンズである。レンズ21の後側焦点と、レンズ22の前側焦点とは一致している。レンズ22の後側焦点は、観察対象物2が通過する位置にある。
y軸方向に見た場合、破線で示されるとおり、ビームスプリッタ71から出力された物体光は、レンズ21により収斂された後に発散光としてレンズ22に入力され、レンズ22によりコリメートされる。x軸方向に見た場合、実線で示されるとおり、ビームスプリッタ71から出力された物体光は、レンズ21により収斂または発散されることなくレンズ22に入力され、レンズ22により収斂される。
これにより、照射光学系20は、観察対象物2の移動方向(x軸方向)に対し垂直な方向(y軸方向)のライン状の領域に物体光を集光照射することができる。すなわち、照射光学系20は、観察対象物2に対し物体光を様々な方向(多方向)から同時に照射することができる。
結像光学系30は、レンズ31~34を含む。これらのレンズのうち、レンズ32~34は、シリンドリカルレンズである。レンズ31の前側焦点は、観察対象物2が通過する位置にある。レンズ31の後側焦点は、面FP上にある。面FPは、レンズ31により観察対象物2のフーリエ変換像が形成される面である。
レンズ32の前側焦点は、面FP上にある。レンズ32の後側焦点は、レンズ33の位置にある。レンズ33の前側焦点は、面FP上にある。レンズ33の後側焦点は、撮像部50の撮像面上にある。レンズ34の前側焦点は、レンズ33の位置にある。レンズ34の後側焦点は、撮像部50の撮像面上にある。
y軸方向に見た場合、破線で示されるとおり、観察対象物2から発した物体光は、レンズ31によりコリメートされ、レンズ33により収斂される。x軸方向に見た場合、実線で示されるとおり、フーリエ変換面FPから発した物体光は、レンズ32によりコリメートされ、レンズ34により収斂される。
これにより、結像光学系30は、観察対象物2の移動方向に対し平行な方向(x軸方向)については観察対象物2と撮像部50の撮像面とを互いにフーリエ変換の位置関係とすることができ、また、観察対象物2の移動方向に対し垂直な方向(y軸方向)については観察対象物2と撮像部50の撮像面とを互いに共役の位置関係とすることができる。
照射光学系20および結像光学系30がこのような構成を有する場合、解析部60は、撮像面における物体光の複素振幅画像の時系列データを求めることができる。ここで求められる複素振幅画像は、x軸方向についてはフーリエ変換像であり、y軸方向については実像である。
また、解析部60は、撮像部50により取得された干渉光の強度画像の時系列データについてフーリエ変換等の処理を行うことにより、照射光学系20による観察対象物2への物体光の照射方向毎に複素振幅画像(実像)を求めることができ、観察対象物2の屈折率の3次元分布を取得することができる(特許文献1および非特許文献1を参照)。
なお、図2に、物体光の光路上に挿入された減光フィルタ35、および、物体光の光路上に挿入可能な遮蔽体36も示されている。減光フィルタ35は、撮像部50の撮像面に到達する物体光の強度を調整するものである。遮蔽体36は、光路上に挿入されているときに、撮像部50の撮像面へ物体光を入射させないようにするものである。撮像部50により干渉光の強度画像を取得する際には、遮蔽体36は物体光の光路から取り除かれる。これらの役割については後述する。
このような観察装置1において、観察対象物2の移動の速さをVとし、観察対象物2と相互作用する前の物体光のx軸方向の波数成分をkx
inとし、観察対象物2と相互作用した後の物体光のx軸方向の波数成分をkx
outとする。このとき、観察対象物2との相互作用により生じる物体光の光周波数のドップラーシフトの量Δfは、下記(1)式で表される。
照射光学系20の最終段のレンズ22の開口数をNAinとし、結像光学系30の初段のレンズ31の開口数をNAoutとし、光の波長をλとする。このとき、ドップラーシフト量Δfの最大値Δfmaxは、下記(2)式で表され、ドップラーシフト量Δfの最小値Δfminは、下記(3)式で表される。したがって、撮像部50の撮像面に到達する物体光の光周波数のドップラーシフト量Δfは、[-Δfmax,Δfmax]の範囲に分布している。
撮像部50の撮像面における物体光の複素振幅画像の時系列データをUobj(t)とする。撮像部50の撮像面における参照光の複素振幅画像の時系列データをUref(t)とする。Uref(t)は、ヘテロダイン周波数f0を用いて、
Uref(t)=U0・exp(-i2πf0t)
で表される。
Uref(t)=U0・exp(-i2πf0t)
で表される。
撮像部50により取得される干渉光の強度画像の時系列データI(t)は、下記(4)式および(5)式((5a)~(5d)式)で表される。なお、iは虚数単位であり、πは円周率であり、tは時刻変数である。各画像における位置を表す変数の表記は省略されている。
Iobj(t)((5a)式)は、[-2Δfmax,2Δfmax]の範囲に周波数成分を有する。Iref(t)((5b)式)は、U0が時間的に変化しなければ、DC成分のみを有する。Icross(t)((5c)式)は、[-Δfmax+f0,Δfmax+f0]の範囲に周波数成分を有する。Icross
*(t)((5d)式)は、[-Δfmax-f0,Δfmax-f0]の範囲に周波数成分を有する。
Icross(t)またはIcross
*(t)の周波数範囲がIobj(t)の周波数範囲と重ならなければ、Icross(t)またはIcross
*(t)の時系列データを測定することができる。さらに、(5c)式または(5d)式から、物体光の複素振幅画像の時系列データUobj(t)を得ることができる。
Icross(t)またはIcross
*(t)の周波数範囲がIobj(t)の周波数範囲と重ならないようにするためには、ヘテロダイン周波数f0を f0≧3Δfmax とすることが必要である。ここで、f0=3Δfmax とすると、干渉光の強度画像の時系列データI(t)の最大周波数は4Δfmaxである。したがって、ナイキストのサンプリング定理から、最大周波数の2倍(8Δfmax)のフレームレートで撮像部50により干渉光の強度画像の時系列データI(t)を取得すれば、物体光の複素振幅画像の時系列データUobj(t)を高精度に再現することができる。
以下に説明する観察装置および観察方法は、解析部60による処理の内容を改善することにより、撮像部50により干渉光の強度画像の時系列データI(t)を取得する際のフレームレートを8Δfmaxより低くすることができるものである。
撮像部50の撮像面における物体光の複素振幅画像の時系列データUobj(t)と、撮像部50の撮像面における参照光の複素振幅画像の時系列データUref(t)とを用いて、下記(6)式で表される関数β(t)を定義する。さらに、この関数β(t)を用いて、下記(7)式で表される関数χ(t)を定義する。
関数χ(t)の実部であるRe[χ(t)]は、下記(8)式で表される。この(8)式に示されるように、Re[χ(t)]は、撮像部50の撮像面における干渉光の強度画像の時系列データI(t)と、撮像部50の撮像面における参照光の強度画像の時系列データIref(t)とに基づいて、求めることができる。I(t)およびIref(t)は何れも測定可能であるから、これらの測定値からRe[χ(t)]を得ることができる。
参照光の強度画像の時系列データIref(t)は、測定の途中および前後において時間的に変化しない場合には、例えば、測定の前または後に、図2に示されるように干渉光学系において物体光の光路上に遮蔽体36を挿入して、物体光および参照光のうち参照光のみが撮像部50の撮像面に到達するようにして測定することができる。なお、(8)式中で干渉光の強度画像の時系列データI(t)に対応する参照光の強度画像という意味で、時間的に変化しないものの参照光の強度画像の時系列データIref(t)と呼ぶことにする。
また、参照光の強度画像の時系列データIref(t)は、時間的に変化する場合には、例えば、図3に示される観察装置1Aの構成のように、干渉光学系における参照光の光路上にビームスプリッタ75を設け、このビームスプリッタ75により参照光の一部を分岐して取り出し、その取り出した参照光の強度画像の時系列データIref(t)を他の第2撮像部51により取得してもよい。
第2撮像部51により取得される参照光の強度画像の時系列データIref(t)は、撮像部50に参照光のみが到達した場合に撮像部50により取得される参照光の強度画像の時系列データIref(t)と等しくすることができる。第2撮像部51は、撮像部50と同様の構成を有するものであってよい。
関数χ(t)の虚部であるIm[χ(t)]と上記Re[χ(t)]とは、下記(9)式および(10)式のクラマース・クローニッヒ(Kramers-Kronig)の関係式(以下「KK関係式」という。)で表される関係を有する。したがって、(10)式を用いることで、Re[χ(t)]からIm[χ(t)]を求めることができる。これにより関数χ(t)を得ることができるので、(6)式および(7)式を用いて、関数χ(t)から物体光の複素振幅画像の時系列データUobj(t)を求めることができる。
ここで、Re[χ(t)]とIm[χ(t)]とが上記(9)式および(10)式で表される関係を有することについて説明する。β(t)が下記(11)式を満たすとき、χ(t)は下記(12)式のようにテイラー展開することができる。すなわち、χ(t)は、β(t)のべき乗で展開することができる。
上記(11)式を満たすには、ビームスプリッタ71またはビームスプリッタ72の透過率および反射率を適切な値とすればよい。或いは、上記(11)式を満たすには、図2に示されるように、干渉光学系における物体光の光路上に設けた減光フィルタ35により物体光を減衰させてもよい。減光フィルタ35は、物体光がコリメートされている光路上(例えば、レンズ32とレンズ33との間、または、ビームスプリッタ71とレンズ21との間)に設けられるのが好ましい。
一般に、二つの関数f1(t),f2(t)の間には畳み込みの定理が成り立つ。すなわち、f1(t)のフーリエ変換をF1(ω)とし、f2(t)のフーリエ変換をF2(ω)としたとき、f1(t)とf2(t)との積は、F1(ω)とF2(ω)との畳み込みのフーリエ変換に等しい。
この畳み込みの定理および上記(12)式から、β(t)のフーリエ変換Β(ω)がΒ(ω<0)=0を満たす場合、χ(t)のフーリエ変換Χ(ω)はΧ(ω<0)=0を満たす。すなわち、ω<0の範囲でΒ(ω)=0である場合、ω<0の範囲でΧ(ω)=0となる。Χ(ω<0)=0を満たす関数Χ(ω)の逆フーリエ変換がχ(t)であるから、Re[χ(t)]とIm[χ(t)]とは、上記(9)式および(10)式で表されるKK関係式の関係を有する。
Β(ω<0)=0を満たすためには、変調部40により設定されるヘテロダイン周波数f0をΔfmax以上とすればよい。すなわち、上記(6)式から分かるように、Uobj(t)の周波数範囲[-Δfmax,Δfmax]をUref(t)のヘテロダイン周波数f0だけシフトさせたときに、そのシフト後において負の周波数成分が存在しないようにすればよい。
f0を3Δfmax未満とすれば、従来と比べて低いフレームレートで撮像部50により干渉光の強度画像の時系列データI(t)を取得して、物体光の複素振幅画像の時系列データUobj(t)を高精度に再現することができる。例えば、f0=Δfmaxとしたとき、干渉光の強度画像の時系列データI(t)の最大周波数は2Δfmaxであるので、撮像部50のフレームレートは4Δfmaxでよい。これは、従来必要であったフレームレートの2分の1である。
なお、撮像部50により取得されたI(t)およびIref(t)それぞれについて、フーリエ変換、このフーリエ変換後に周波数領域を拡大して当該拡大領域に所定の値(例えば0)を与えるパッディング(padding)処理、および、このパッディング処理後に逆フーリエ変換を行って、これらの処理の後のデータを(8)式で用いるのが好ましい。
また、χ(t)から求められたUobj(t)について、フーリエ変換、このフーリエ変換後に周波数領域の一部を取り出すクロッピング(cropping)処理、および、このクロッピング処理後に逆フーリエ変換を行って、これらの処理の後のデータを以降の処理で用いるのが好ましい。
次に、シミュレーションの結果について説明する。ここでは、図1および図2に示される観察装置の構成を想定し、xy平面に平行な元画像(図4、図5)をx軸方向に移動させた。撮像部50の撮像面に到達する物体光のドップラーシフト量の最大値Δfmaxを40kHzとし、変調部40によるヘテロダイン周波数f0も40kHzとした。図4は、元画像の実部を示す図であり、図5は、元画像の虚部を示す図である。元画像の画素数は256×512である。
図6は、撮像部50の撮像面における干渉光の強度画像I(t)の周波数分布を示す図である。図7は、撮像部50の撮像面におけるIobj(t)、Iref(t)、Icross(t)およびIcross
*(t)それぞれの周波数分布を示す図である。
Iobj(t)は、[-80kHz,80kHz]の範囲に周波数成分を有しており、0kHzの周波数位置にピークを有している。Iref(t)の周波数分布は、時間的に一定であり、DC成分のみを有している。
Icross(t)は、[0kHz,80kHz]の範囲に周波数成分を有しており、40kHzの周波数位置にピークを有している。Icross
*(t)は、[-80kHz,0kHz]の範囲に周波数成分を有しており、-40kHzの周波数位置にピークを有している。Icross(t)およびIcross
*(t)それぞれの周波数範囲は、Iobj(t)の周波数範囲と重なっている。したがって、Icross(t)およびIcross
*(t)は、Iobj(t)から分離して測定することができない。
図8は、図6から[0kHz,80kHz]の周波数範囲を取り出す従来例により得られたIcross(t)の周波数分布を示す図である。図9は、KK関係式を用いた実施例により得られたIcross(t)の周波数分布を示す図である。従来例では、本来のIcross(t)の周波数分布にIobj(t)の周波数分布が重畳されたものとなっている。これに対して、実施例では、Iobj(t)の周波数分布の影響がなく、本来のIcross(t)の周波数分布が得られている。
図10は、厳密解の画像を示す図である。図11は、従来例により得られた画像を示す図である。図12は、実施例により得られた画像を示す図である。図10~図12の各画像は、照射光学系20による元画像への物体光の照射方向をz軸に対し34°としたときに得られる複素振幅画像の実部である。
図13は、従来例により得られた複素振幅画像と厳密解の画像との差分を示す図である。図14は、実施例により得られた複素振幅画像と厳密解の画像との差分を示す図である。図13および図14の各画像は、二つの画像の差の絶対値の二乗の画像である。従来例では誤差が大きい。これに対して、実施例では誤差が殆どない。
以上のとおり、本実施形態によれば、移動している観察対象物を観察する際に、従来法と比較してフレームレートが低いカメラを撮像部として用いることができる。例えば、本実施形態によれば、従来法と比較して1/2のフレームレートで同等の情報(画質)を得ることができる。
したがって、撮像により得られる画像データを低減することができ、データ記憶に必要な記憶部の容量を小さくすることができ、データ処理の負荷を低減することができる。また、撮像部として安価なカメラを用いることができる。逆に、従来法で必要であった高速カメラを撮像部として用いれば、観察対象物の観察のスループット(個/秒)を2倍向上させることができ、1装置あたりのサンプル記録数を2倍向上させることができる。
観察装置、及び観察方法は、上述した実施形態および構成例に限定されるものではなく、種々の変形が可能である。
上記実施形態による観察装置は、(1)光を出力する光源と、(2)光源から出力された光を分岐して物体光および参照光とし、移動している観察対象物を経た物体光と参照光とを合波して出力する干渉光学系と、(3)干渉光学系の分岐から合波までの間の物体光または参照光の光路上に設けられ、物体光または参照光の光周波数をヘテロダイン周波数f0だけシフトさせる変調部と、(4)干渉光学系から出力される物体光により観察対象物の像が形成される位置に配置された撮像面を有し、干渉光学系から出力されて撮像面に到達した物体光および参照光による干渉光の強度画像を取得する撮像部と、(5)撮像面における干渉光の強度画像の時系列データに基づいて、撮像面における物体光の複素振幅画像の時系列データを求める解析部と、を備え、変調部は、撮像面に到達する物体光における観察対象物との相互作用に基づく光周波数のドップラーシフト量の最大値をΔfmaxとしたとき、ヘテロダイン周波数f0をΔfmax以上とし、解析部は、(a)撮像面における物体光の複素振幅画像の時系列データUobj(t)と撮像面における参照光の複素振幅画像の時系列データUref(t)とにより定義される関数χ(t)=log[1+Uobj(t)/Uref(t)] の実部を、撮像面における干渉光の強度画像の時系列データI(t)と撮像面における参照光の強度画像の時系列データIref(t)とに基づいて求め、(b)クラマース・クローニッヒの関係式を用いて関数χ(t)の実部から関数χ(t)の虚部を求め、(c)関数χ(t)に基づいて撮像面における物体光の複素振幅画像の時系列データUobj(t)を求める。
上記実施形態による観察方法は、上記構成の光源と、干渉光学系と、変調部と、撮像部と、を用いて、(a)撮像面に到達する物体光における観察対象物との相互作用に基づく光周波数のドップラーシフト量の最大値をΔfmaxとしたとき、変調部によりヘテロダイン周波数f0をΔfmax以上として、撮像部により撮像面における干渉光の強度画像の時系列データを求め、(b)撮像面における物体光の複素振幅画像の時系列データUobj(t)と撮像面における参照光の複素振幅画像の時系列データUref(t)とにより定義される関数χ(t)=log[1+Uobj(t)/Uref(t)] の実部を、撮像面における干渉光の強度画像の時系列データI(t)と撮像面における参照光の強度画像の時系列データIref(t)とに基づいて求め、(c)クラマース・クローニッヒの関係式を用いて関数χ(t)の実部から関数χ(t)の虚部を求め、(d)関数χ(t)に基づいて撮像面における物体光の複素振幅画像の時系列データUobj(t)を求める。
上記の観察装置及び観察方法は、変調部において、ヘテロダイン周波数f0を3Δfmax未満とする構成としてもよい。
上記の観察装置及び観察方法において、干渉光学系は、(1)物体光を観察対象物に照射する際に、観察対象物の移動方向に対し垂直な方向のライン状の領域に物体光を集光照射する照射光学系と、(2)観察対象物から発した物体光による観察対象物の像を撮像面に形成する際に、観察対象物の移動方向に対し平行な方向については観察対象物と撮像面とを互いにフーリエ変換の位置関係とし、観察対象物の移動方向に対し垂直な方向については観察対象物と撮像面とを互いに共役の位置関係とする結像光学系と、を含み、解析部において、照射光学系による観察対象物への物体光の照射方向毎に複素振幅画像を求め、観察対象物の屈折率の3次元分布を取得する構成としてもよい。
上記の観察装置において、解析部は、干渉光学系において物体光の光路上に遮蔽体が置かれた状態で物体光および参照光のうち参照光のみが撮像部の撮像面に到達して取得された参照光の強度画像を用いて、関数χ(t)の実部を求める構成としてもよい。
上記の観察方法は、干渉光学系において物体光の光路上に遮蔽体が置かれた状態で物体光および参照光のうち参照光のみが撮像部の撮像面に到達して取得された参照光の強度画像を用いて、関数χ(t)の実部を求める構成としてもよい。
上記の観察装置は、干渉光学系における参照光の光路上に設けられ参照光の一部を分岐して取り出すビームスプリッタと、このビームスプリッタにより取り出された参照光の強度画像を取得する第2撮像部と、を更に備え、解析部は、第2撮像部により取得された参照光の強度画像の時系列データIref(t)を用いて、関数χ(t)の実部を求める構成としてもよい。
上記の観察方法は、干渉光学系における参照光の光路上に設けられ参照光の一部を分岐して取り出すビームスプリッタと、このビームスプリッタにより取り出された参照光の強度画像を取得する第2撮像部と、を更に用いて、第2撮像部により取得された参照光の強度画像の時系列データIref(t)を用いて、関数χ(t)の実部を求める構成としてもよい。
実施形態は、移動している観察対象物を観察する際に低速のカメラを撮像部として用いることができる観察装置および観察方法として利用可能である。
1,1A…観察装置、2…観察対象物、10…光源部、20…照射光学系、21,22…レンズ、30…結像光学系、31~34…レンズ、35…減光フィルタ、36…遮蔽体、40…変調部、41,42…音響光学素子、50,51…撮像部、60…解析部、71,72…ビームスプリッタ、73,74…ミラー、75…ビームスプリッタ。
Claims (10)
- 光を出力する光源と、
前記光源から出力された光を分岐して物体光および参照光とし、移動している観察対象物を経た前記物体光と前記参照光とを合波して出力する干渉光学系と、
前記干渉光学系の分岐から合波までの間の前記物体光または前記参照光の光路上に設けられ、前記物体光または前記参照光の光周波数をヘテロダイン周波数f0だけシフトさせる変調部と、
前記干渉光学系から出力される前記物体光により前記観察対象物の像が形成される位置に配置された撮像面を有し、前記干渉光学系から出力されて前記撮像面に到達した前記物体光および前記参照光による干渉光の強度画像を取得する撮像部と、
前記撮像面における前記干渉光の強度画像の時系列データに基づいて、前記撮像面における前記物体光の複素振幅画像の時系列データを求める解析部と、
を備え、
前記変調部は、前記撮像面に到達する前記物体光における前記観察対象物との相互作用に基づく光周波数のドップラーシフト量の最大値をΔfmaxとしたとき、前記ヘテロダイン周波数f0をΔfmax以上とし、
前記解析部は、
前記撮像面における前記物体光の複素振幅画像の時系列データUobj(t)と前記撮像面における前記参照光の複素振幅画像の時系列データUref(t)とにより定義される関数χ(t)=log[1+Uobj(t)/Uref(t)] の実部を、前記撮像面における前記干渉光の強度画像の時系列データI(t)と前記撮像面における前記参照光の強度画像の時系列データIref(t)とに基づいて求め、
クラマース・クローニッヒの関係式を用いて前記関数χ(t)の実部から前記関数χ(t)の虚部を求め、
前記関数χ(t)に基づいて前記撮像面における前記物体光の複素振幅画像の時系列データUobj(t)を求める、
観察装置。 - 前記変調部は、前記ヘテロダイン周波数f0を3Δfmax未満とする、請求項1に記載の観察装置。
- 前記干渉光学系は、
前記物体光を前記観察対象物に照射する際に、前記観察対象物の移動方向に対し垂直な方向のライン状の領域に前記物体光を集光照射する照射光学系と、
前記観察対象物から発した前記物体光による前記観察対象物の像を前記撮像面に形成する際に、前記観察対象物の移動方向に対し平行な方向については前記観察対象物と前記撮像面とを互いにフーリエ変換の位置関係とし、前記観察対象物の移動方向に対し垂直な方向については前記観察対象物と前記撮像面とを互いに共役の位置関係とする結像光学系と、
を含み、
前記解析部は、前記照射光学系による前記観察対象物への物体光の照射方向毎に複素振幅画像を求め、前記観察対象物の屈折率の3次元分布を取得する、請求項1または2に記載の観察装置。 - 前記解析部は、前記干渉光学系において前記物体光の光路上に遮蔽体が置かれた状態で前記物体光および前記参照光のうち前記参照光のみが前記撮像部の前記撮像面に到達して取得された前記参照光の強度画像を用いて、前記関数χ(t)の実部を求める、請求項1~3の何れか1項に記載の観察装置。
- 前記干渉光学系における前記参照光の光路上に設けられ前記参照光の一部を分岐して取り出すビームスプリッタと、このビームスプリッタにより取り出された前記参照光の強度画像を取得する第2撮像部と、を更に備え、
前記解析部は、前記第2撮像部により取得された前記参照光の強度画像の時系列データIref(t)を用いて、前記関数χ(t)の実部を求める、請求項1~3の何れか1項に記載の観察装置。 - 光を出力する光源と、
前記光源から出力された光を分岐して物体光および参照光とし、移動している観察対象物を経た前記物体光と前記参照光とを合波して出力する干渉光学系と、
前記干渉光学系の分岐から合波までの間の前記物体光または前記参照光の光路上に設けられ、前記物体光または前記参照光の光周波数をヘテロダイン周波数f0だけシフトさせる変調部と、
前記干渉光学系から出力される前記物体光により前記観察対象物の像が形成される位置に配置された撮像面を有し、前記干渉光学系から出力されて前記撮像面に到達した前記物体光および前記参照光による干渉光の強度画像を取得する撮像部と、
を用いて、
前記撮像面に到達する前記物体光における前記観察対象物との相互作用に基づく光周波数のドップラーシフト量の最大値をΔfmaxとしたとき、前記変調部により前記ヘテロダイン周波数f0をΔfmax以上として、前記撮像部により前記撮像面における前記干渉光の強度画像の時系列データを求め、
前記撮像面における前記物体光の複素振幅画像の時系列データUobj(t)と前記撮像面における前記参照光の複素振幅画像の時系列データUref(t)とにより定義される関数χ(t)=log[1+Uobj(t)/Uref(t)] の実部を、前記撮像面における前記干渉光の強度画像の時系列データI(t)と前記撮像面における前記参照光の強度画像の時系列データIref(t)とに基づいて求め、
クラマース・クローニッヒの関係式を用いて前記関数χ(t)の実部から前記関数χ(t)の虚部を求め、
前記関数χ(t)に基づいて前記撮像面における前記物体光の複素振幅画像の時系列データUobj(t)を求める、
観察方法。 - 前記変調部により、前記ヘテロダイン周波数f0を3Δfmax未満とする、請求項6に記載の観察方法。
- 前記干渉光学系は、
前記物体光を前記観察対象物に照射する際に、前記観察対象物の移動方向に対し垂直な方向のライン状の領域に前記物体光を集光照射する照射光学系と、
前記観察対象物から発した前記物体光による前記観察対象物の像を前記撮像面に形成する際に、前記観察対象物の移動方向に対し平行な方向については前記観察対象物と前記撮像面とを互いにフーリエ変換の位置関係とし、前記観察対象物の移動方向に対し垂直な方向については前記観察対象物と前記撮像面とを互いに共役の位置関係とする結像光学系と、
を含み、
前記照射光学系による前記観察対象物への物体光の照射方向毎に複素振幅画像を求め、前記観察対象物の屈折率の3次元分布を取得する、請求項6または7に記載の観察方法。 - 前記干渉光学系において前記物体光の光路上に遮蔽体が置かれた状態で前記物体光および前記参照光のうち前記参照光のみが前記撮像部の前記撮像面に到達して取得された前記参照光の強度画像を用いて、前記関数χ(t)の実部を求める、請求項6~8の何れか1項に記載の観察方法。
- 前記干渉光学系における前記参照光の光路上に設けられ前記参照光の一部を分岐して取り出すビームスプリッタと、このビームスプリッタにより取り出された前記参照光の強度画像を取得する第2撮像部と、を更に用いて、
前記第2撮像部により取得された前記参照光の強度画像の時系列データIref(t)を用いて、前記関数χ(t)の実部を求める、請求項6~8の何れか1項に記載の観察方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020105338 | 2020-06-18 | ||
JP2020105338 | 2020-06-18 | ||
PCT/JP2021/020020 WO2021256202A1 (ja) | 2020-06-18 | 2021-05-26 | 観察装置および観察方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021256202A1 JPWO2021256202A1 (ja) | 2021-12-23 |
JP7609870B2 true JP7609870B2 (ja) | 2025-01-07 |
Family
ID=79267899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022532443A Active JP7609870B2 (ja) | 2020-06-18 | 2021-05-26 | 観察装置および観察方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230213432A1 (ja) |
EP (1) | EP4163619A4 (ja) |
JP (1) | JP7609870B2 (ja) |
CN (1) | CN115836209A (ja) |
WO (1) | WO2021256202A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023079446A (ja) * | 2021-11-29 | 2023-06-08 | 浜松ホトニクス株式会社 | 観察装置および観察方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002519690A (ja) | 1998-07-06 | 2002-07-02 | センター ナショナル デ ラ レシェルシェ サイエンティフィック(シーエヌアールエス) | 振動測定のための動的ホログラフィー速度計 |
WO2011136381A1 (ja) | 2010-04-30 | 2011-11-03 | 浜松ホトニクス株式会社 | 観察装置 |
WO2013065796A1 (ja) | 2011-11-02 | 2013-05-10 | 浜松ホトニクス株式会社 | 観察装置 |
US20140243614A1 (en) | 2013-02-26 | 2014-08-28 | Butterfly Network, Inc. | Transmissive imaging and related apparatus and methods |
JP6052965B2 (ja) | 2012-08-23 | 2016-12-27 | 浜松ホトニクス株式会社 | 面内変位測定装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011100252A1 (de) * | 2011-05-03 | 2012-11-08 | Polytec Gmbh | Verfahren und Vorrichtung zur optischen, berührungslosen Schwingungsmessung eines schwingenden Objekts |
JP5856440B2 (ja) * | 2011-11-02 | 2016-02-09 | 浜松ホトニクス株式会社 | 観察装置 |
JP6999129B2 (ja) * | 2017-09-06 | 2022-01-18 | 浜松ホトニクス株式会社 | 細胞観察システムおよび細胞観察方法 |
-
2021
- 2021-05-26 WO PCT/JP2021/020020 patent/WO2021256202A1/ja unknown
- 2021-05-26 CN CN202180042067.XA patent/CN115836209A/zh active Pending
- 2021-05-26 US US18/008,490 patent/US20230213432A1/en active Pending
- 2021-05-26 JP JP2022532443A patent/JP7609870B2/ja active Active
- 2021-05-26 EP EP21826244.2A patent/EP4163619A4/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002519690A (ja) | 1998-07-06 | 2002-07-02 | センター ナショナル デ ラ レシェルシェ サイエンティフィック(シーエヌアールエス) | 振動測定のための動的ホログラフィー速度計 |
WO2011136381A1 (ja) | 2010-04-30 | 2011-11-03 | 浜松ホトニクス株式会社 | 観察装置 |
WO2013065796A1 (ja) | 2011-11-02 | 2013-05-10 | 浜松ホトニクス株式会社 | 観察装置 |
JP6052965B2 (ja) | 2012-08-23 | 2016-12-27 | 浜松ホトニクス株式会社 | 面内変位測定装置 |
US20140243614A1 (en) | 2013-02-26 | 2014-08-28 | Butterfly Network, Inc. | Transmissive imaging and related apparatus and methods |
Non-Patent Citations (2)
Title |
---|
BAEK, Yoonseok et al.,Kramers-Kronig holographic imaging for high-space-bandwidth product,Optica,2019年01月,Vol. 6, No. 1,45-51 |
IWAI, Hidenao et al.,Doppler-spectrally encoded imaging of translational objects,Optics Communications,2014年,Vol. 319,159-169 |
Also Published As
Publication number | Publication date |
---|---|
EP4163619A1 (en) | 2023-04-12 |
CN115836209A (zh) | 2023-03-21 |
JPWO2021256202A1 (ja) | 2021-12-23 |
WO2021256202A1 (ja) | 2021-12-23 |
US20230213432A1 (en) | 2023-07-06 |
EP4163619A4 (en) | 2024-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Buraga-Lefebvre et al. | Application of wavelet transform to hologram analysis: three-dimensional location of particles | |
JP5170084B2 (ja) | 3次元顕微鏡および3次元画像取得方法 | |
JP5364203B2 (ja) | 観察装置 | |
Jeon et al. | Dual-wavelength digital holography with a single low-coherence light source | |
EP3102982B1 (en) | Digital holographic device | |
US6885460B2 (en) | Apparatus for and method of measuring surface shape of an object | |
Palacios et al. | 3D image reconstruction of transparent microscopic objects using digital holography | |
CN106885796B (zh) | 一种超分辨率荧光数字全息断层显微成像系统与方法 | |
JP7609870B2 (ja) | 観察装置および観察方法 | |
Martinez-Carranza et al. | Multi-incidence digital holographic profilometry with high axial resolution and enlarged measurement range | |
Abdelsalam et al. | Digital holographic shape measurement using Fizeau microscopy | |
JP7432227B2 (ja) | 位相イメージング装置、位相イメージング方法 | |
WO2020053873A1 (en) | Digital holographic microscopy | |
Huang et al. | Non-interferometric accurate phase imaging via linear-convergence iterative optimization | |
JP4023666B2 (ja) | 動的形状測定方法及び装置 | |
Shangguan et al. | Lensless single-shot dual-wavelength digital holography for industrial metrology | |
JP5258052B2 (ja) | 位相シフト法による形状測定方法及び形状測定装置、並びに複素振幅計測方法及び複素振幅計測装置 | |
JP3233723B2 (ja) | 位相パターン差判別装置 | |
CN115711866B (zh) | 基于环形扫描照明的定量相衬层析显微装置和方法 | |
Hamed | Scanning holography using a modulated linear pupil: simulations | |
Zhao et al. | Slightly off-axis digital holographic microscopy with a divided aperture | |
WO2020085402A1 (ja) | 顕微鏡及び顕微法 | |
WO2024262141A1 (ja) | 観察装置および観察方法 | |
Li et al. | Speckle characteristic based auto-focusing approach for diffuse object in digital holography | |
Kebbel et al. | New approach for testing of aspherical micro-optics with high numerical aperture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7609870 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |