[go: up one dir, main page]

JP2019198468A - 画像処理装置およびその制御方法 - Google Patents

画像処理装置およびその制御方法 Download PDF

Info

Publication number
JP2019198468A
JP2019198468A JP2018094677A JP2018094677A JP2019198468A JP 2019198468 A JP2019198468 A JP 2019198468A JP 2018094677 A JP2018094677 A JP 2018094677A JP 2018094677 A JP2018094677 A JP 2018094677A JP 2019198468 A JP2019198468 A JP 2019198468A
Authority
JP
Japan
Prior art keywords
slo
blood vessel
image data
data
oct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018094677A
Other languages
English (en)
Inventor
松本 和浩
Kazuhiro Matsumoto
和浩 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018094677A priority Critical patent/JP2019198468A/ja
Publication of JP2019198468A publication Critical patent/JP2019198468A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

【課題】 SLOによる血管の正確な形状情報を、OCTによる血管の正確な位置情報を用いて血管画像、特に、3次元血管画像を生成する。【解決手段】 OCTデータから血管領域の位置情報を、及び、SLOデータから前記血管領域の形状情報を抽出する抽出手段と、前記位置情報と前記形状情報に基づいて、前記血管領域の3次元画像データを生成する生成手段とを有する。【選択図】 図12

Description

本発明は、画像処理装置およびその制御方法に関し、特に、被検者の網膜の血管領域の画像を生成するための画像処理装置およびその制御方法に関する。
網膜の断層画像撮像装置(OCT:Optical Coherence Tomography)は、網膜からの戻り光(サンプル光)を参照光と干渉させた干渉縞の周波数を解析することにより断層画像を作成している。
近年、AO(Adaptive Optics)技術を用いて、被検眼の角膜、水晶体、涙液層等の光学要素によって乱された波面を補正して微細な構造を撮像する技術を搭載したAO−SLOや、AO技術を用いて視細胞を解像できるAO−OCTも開発されている。
また、高速でスキャンできるSLO、特にAO−SLOは、血流の動きをとらえることが可能であり、この血流の動きを画像化して、血管を描出する、AO−SLO血管造影(AO−SLO Angiography)という手法により毛細血管の描出が可能となっている(特許文献1)。
一方、OCTの分野でも、OCT画像のモーションコントラストを画像化して血管画像を作成するOCT−Aという手法が開発され、広く臨床で使用されている(特許文献2)。
特開2012−176093号公報 特開2016−10658号公報
OCT−Aの手法により血管画像を描出すると、特許文献2に示されるように奥行き方向の情報が得られるものの、血管境界が不鮮明になり、血管径や血管の詳細な形状については正確性に欠ける。特に血管径の細い毛細血管でこの傾向は強い。
また、特許文献1に示されるようなAO−SLO血管造影の手法を用いると細い血管画像も、コントラストよく描出できるものの、深さ方向の情報が得られないため、深さ方向の屈曲等の3次元情報が得られないという課題があった。
本発明の目的は、SLOによる血管領域の正確な形状情報を、OCTの正確な位置情報を用いて血管領域の画像データ、特に、3次元血管領域の画像データを生成することにある。
更に、本発明の目的は、生成した3次元血管画像データを表示することより、血管の診断をより効率よく行える装置を提供することにある。
上記課題を解決するために本発明の画像処理装置は、OCTデータから血管領域の位置情報を、及び、SLOデータから前記血管領域の形状情報を抽出する抽出手段と、前記位置情報と前記形状情報に基づいて、前記血管領域の3次元画像データを生成する生成手段とを有する。
本発明によれば、SLOによる血管領域の正確な形状情報を、OCTの正確な位置情報を用いて、より正確な3次元血管領域の画像データを生成することができる。
本発明の第1の実施形態におけるOCT装置の構成を示す図である。 本発明の第1の実施形態におけるAO−SLO装置の構成を示す図である。 本発明の第1の実施形態における各構成の接続関係を示す図である。 本発明の第1の実施形態におけるステップの流れを示すフローチャートである。 本発明の実施形態におけるOCT−A画像データを示す図である。 本発明の実施形態における細線化したOCT−A画像データを示す図である。 本発明の実施形態におけるSLO−A画像データを示す図である。 本発明の実施形態における細線化したSLO−A画像データを示す図である。 本発明の実施形態における被写界深度を説明するための図である。 本発明の実施形態におけるOCT−A画像データの一断面を示す図である。 本発明の実施形態における細線化したSLO−A画像データを示す図である。 本発明の実施形態におけるSLO−A画像データとOCT−A画像データの対応を説明するための図である。 本発明の第2の実施形態における装置の構成を示す図である。 本発明の実施形態におけるセンサアレイを説明するための図である。 本発明の実施形態における3次元画像データの作成時のフローチャートである。 本発明の実施形態における画像取得時のフローチャートである。
以下、本発明の一実施形態を、図面を用いて詳細に説明する。以下の説明は本質的に、説明的及び例示的なものにすぎず、いかなる形でも、本開示及びその用途又は使用を限定することを意図していない。実施形態において示されるコンポーネントの相対的構成、並びに、ステップ、数値表現及び数値は、別段の具体的な指示がない限り、本開示の範囲を限定しない。当業者によってよく知られている技法、方法及びデバイスは、以下で論考する実施形態を可能にするために当業者がこれらの詳細を知る必要がないので、詳細に論考されていない場合がある。
[第1の実施形態]
第1の実施形態として、本発明の画像処理装置にかかる装置構成について、図面を用いて説明する。
(装置構成)
図1がOCT装置の構成を示す図であり、図2がAO−SLO装置の構成を示す図であり、図3がこれらの装置で得られたデータを処理する画像処理ユニットと他の構成との接続関係を示した構成図である。
(OCT装置)
図1において、110がOCTユニットである。OCTユニット110の主要なユニットとして、光源101、ファイバカプラ102、参照光学系111、検出光学系112および接眼光学系から構成されている。
101は光源であり、波長840nmのSLD光源(Super Luminescent Diode)を用いた。光源101は低干渉性のものであれば良く、波長幅30nm以上のSLDが好適に用いられる。また、チタンサファイアレーザなどの超短パルスレーザなどを光源に用いることもできる。
光源101から照射された光は、単一モード光ファイバを通って、ファイバカプラ102まで導光される。ファイバカプラ102によって、測定光経路103と参照光経路113に分岐される。ファイバカプラは10:90の分岐比のものを使用し、投入光量の10%が測定光経路103に行くように構成されている。
測定光経路103を通った光は、コリメータ104により、OCT測定光105が平行光線として照射される。照射される光の偏光は、単一モード光ファイバ103の経路に具備された不図示の偏光調整器により調整される。
OCT測定光105は反射ミラー106−1〜3や不図示のレンズ等でリレーされ、走査光学系107−1によって、1次元もしくは2次元に走査される。本実施形態では走査光学系107−1に主走査用(眼底水平方向:3次元座標系のx座標方向)と副走査用(眼底垂直方向:3次元座標系のy座標方向)として二つのガルバノスキャナを用いている。走査光学系107−1内の各スキャナを光学的な共役状態にするために、各スキャナの間にミラーやレンズといったリレー光学素子を用いる装置構成の場合もある。本実施形態では、走査光学系にさらにトラッキングミラー107−2を持つ。トラッキングミラー107−2は2つのガルバノスキャナから構成され、被検眼109の眼底に設定される撮影領域をさらに2方向に移動させることが可能である。別の構成では、走査光学系107−1がトラッキングミラー107−2を兼ねる構成もある。また、107−1と107−2を光学的に共役関係とするために、不図示のリレー光学系が用いられることが多い。
走査光学系107−1および107−2で走査されたOCT測定光105は、接眼レンズ108−1および108−2を通して被検眼109に照射される。被検眼109に照射されたOCT測定光105は、被検眼109の眼底の網膜で反射もしくは散乱される。接眼レンズ108−1および108−2の位置を調整することによって、被検眼109の視度にあわせて最適な照射を行うことが可能となる。ここでは、接眼部にレンズを用いたが、球面ミラー等で構成しても良い。
被検眼109の眼底の網膜から反射もしくは散乱された戻り光は、入射した時の経路を逆向きに進行し、コリメータ104を通して光ファイバ103に入り、ファイバカプラ102に戻る。
一方、参照光経路113を通った参照光はコリメータ114で出射され、光路長可変部116で反射されて再度ファイバカプラ102に戻る。
ファイバカプラ102に到達した戻り光と参照光は合波され干渉光となり、光ファイバ117を通して検出光学系112に導光される。検出光学系112に入った干渉光はコリメータ118で出射され、グレーティング119により波長ごとに分光される。分光された干渉光は、レンズ系120を通してラインセンサ121に照射される。ラインセンサ121はCCDセンサで構成される場合もあるし、CMOSセンサで構成される場合もある。
検出光学系112によって分光された干渉光をもとに、制御部122によって眼底の断層画像が構成される。制御部122は光路長可変部116を制御し、所望の深さ位置の断層画像データ(z座標方向の各位置毎の輝度情報)を取得できる。また、制御部122は走査部107−1、107−2も同時に制御しており、任意の位置の干渉信号が取得可能である。一般的には、走査部107−1、107−2によって眼底上に設定される撮影領域をラスタスキャンし、その各々の位置での干渉信号が位置情報(具体的には、x座標とy座標の位置情報)と同時に記録される。得られた干渉信号から断層画像データを作成することにより、3次元OCTデータ(ボリュームデータ)が取得される。
(AO−SLO装置)
次に図2を用いて、本実施形態のAO−SLO装置の構成を説明する。本実施形態のAO−SLO装置は、照射ビームの焦点位置からの戻り光のみを画像化する共焦点撮影機能と、それ以外の多重散乱等による戻り光も画像化する暗視野撮影機能の両方を有する構成とした。
図2において、201は光源であり、波長760nmのSLD光源を用いた。光源201の波長は特に制限されるものではないが、眼底撮影用としては被検者の眩しさの軽減と分解能維持のために、750〜1500nm程度が好適に用いられる。本実施形態においてはSLD光源を用いたが、その他にレーザ等も用いられる。本実施形態では眼底撮影と波面測定のための光源を共用しているが、それぞれを別光源とし、光路の途中で合波する構成としても良い。
光源201から照射された光は、単一モード光ファイバ202を通って、コリメータ203により、平行光線(SLO測定光205)として照射される。照射される光の偏光は、単一モード光ファイバ202の経路に具備された不図示の偏光調整器により調整される。
照射されたSLO測定光205はビームスプリッタからなる光分割部204を透過し、補償光学の光学系に導光される。
補償光学系は、光分割部206、波面センサ215、波面補正デバイス208および、それらに導光するための反射ミラー207−1〜4から構成される。
ここで、反射ミラー207−1〜4は、少なくとも被検眼211の瞳と波面センサ215、波面補正デバイス208とが光学的に共役関係になるように設置されている。また、光分割部206として、本実施形態ではビームスプリッタを用いた。
光分割部206を透過したSLO測定光205は、反射ミラー207−1と207−2で反射されて波面補正デバイス208に入射する。波面補正デバイス208で反射されたSLO測定光205は、さらに反射ミラー207−3と207−4で反射され、走査光学系に導光される。
本実施形態では、波面補正デバイス208として可変形状ミラーを用いた。可変形状ミラーは反射面が複数領域に分割されており、各領域の角度を変えることにより、戻り光の波面を変化させることができるミラーである。波面補正デバイス208としては、可変形状ミラーの代わりに液晶素子を用いた空間位相変調器を用いることも可能である。その場合、被検眼211からの光の両偏光を補正するために、2つの空間位相変調器を用いる場合もある。
図2において、反射ミラー207−3、4で反射された光は、走査光学系209−1によって、1次元もしくは2次元に走査される。本実施形態では走査光学系209−1に主走査用(眼底水平方向:x座標の方向)と副走査用(眼底垂直方向:y座標の方向)として一つの共振スキャナと一つのガルバノスキャナを用いた。別の構成では、走査光学系209−1に二つのガルバノスキャナを用いることもある。走査光学系209−1内の各スキャナを光学的な共役状態にするために、各スキャナの間にミラーやレンズといったリレー光学素子を用いる装置構成の場合もある。
本実施形態では、走査光学系にさらにトラッキングミラー209−2を持つ。トラッキングミラー209−2は2つのガルバノスキャナから構成され、撮影領域をさらに2方向(x座標とy座標の方向)に移動させることが可能である。別の構成では、走査光学系209−1がトラッキングミラー209−2を兼ねる構成、トラッキングミラー209−2が走査光学系209−1の共振スキャナ方向のみの構成、トラッキングミラー209−2が2次元ミラーである構成もある。また、走査光学系209−1と209−2を光学的に共役関係とするために、不図示のリレー光学系が用いられることが多い。
走査光学系209−1および209−2で走査されたSLO測定光205は、接眼レンズ210−1および210−2を通して被検眼211に照射される。被検眼211に照射された測定光は眼底で反射もしくは散乱される。接眼レンズ210−1および210−2の位置を調整することによって、被検眼211の視度にあわせて最適な照射を行うことが可能となる。ここでは、接眼部にレンズを用いたが、球面ミラー等で構成しても良い。
被検眼211の眼底の網膜から反射もしくは散乱された戻り光は、入射した時の経路を逆向きに進行し、光分割部206によって一部は波面センサ215に反射され、光線の波面を測定するために用いられる。光分割部206で波面センサ215に向けて反射された光線は、リレー光学系219−1,219−2を通り、波面センサ215に入射する。リレー光学系219−1と219−2の間にはアパーチャー220が設置されており、レンズ等からの不要な反射散乱光を波面センサに入射させないようにする。本実施形態では、波面センサ215としてシャックハルトマンセンサを用いた。
波面センサ215は補償光学制御部217に接続され、受光した波面を補償光学制御部217に伝える。波面補正デバイス208も補償光学制御部217に接続されており、補償光学制御部217から指示された変調を行う。補償光学制御部217は波面センサ215の測定結果により取得された波面情報を基に、収差のない波面へと補正するような波面補正デバイスの画素ごとの変調量(補正量)を計算し、波面補正デバイス208にそのように変調するように指令する。波面の測定と波面補正デバイス208への指示は繰り返し処理され、常に最適な波面となるようにフィードバック制御が行われる。
図2において、光分割部206を透過した戻り光は光分割部204によって一部が反射され、集光レンズ212によって穴あきミラー213の穴付近に集光させる。穴あきミラー213の穴は、共焦点効果を得るために、SLO測定光205の回折限界付近の径に調整されることが多い。径が大きいと感度は向上するが分解能は低下し、径が小さいと分解能は高いが感度は低下する傾向となる。穴あきミラー213の穴を通過した戻り光は光センサ214−1に入射し、光強度に応じた電気信号に変換される。
光センサ214−1は制御部218に接続され、制御部218は得られた電気信号と光走査の位置情報(x座標とy座標の位置情報)を基に平面画像データを構築し、共焦点画像データとしてディスプレー219に表示する。
穴あきミラー213の穴以外のミラー部分で反射された光はリレー光学系221を通して再度ナイフエッジ216のエッジ付近に集光し、ナイフエッジ216によって略半分に分割される。分割された光は光センサ214−2と214−3に入射する。光センサ214−2と214−3では光強度に応じた電気信号に変換され、制御部218に出力されて、暗視野撮影画像データとして画像化される。ナイフエッジ216は、集光光をどのように分割しても良く、紙面と水平方向や垂直方向の分割方向や、分割する比率に関しても半々ではなく40:60等の非均等分割も可能である。さらに2分割ではなく、より多くの成分に分割させることも可能である。また、このような分割方法を撮影中に動的に変更することも可能である。
トラッキングミラー209−2は不図示のトラッキング制御ユニットによる制御される。トラッキング制御ユニットは、制御部218から撮影部の画像信号を取得し、被検眼211の眼底に設定される撮影領域の固視微動によるズレ量を計算し、トラッキングミラー209−2を制御することにより、撮影領域を常に所定の位置に保つように制御を行う。
なお、本実施形態においてはAO−SLO装置を用いたが、血管領域を解像できるのであればAO機能を有さない通常のSLO装置を用いてもよい。
(画像処理ユニット)
次に図3を用いて画像処理ユニットに関して説明する。画像処理ユニット801は、上述したOCT装置803(図1参照)とAOSLO装置804(図2参照)とに接続され、それぞれのデータを取得する。画像処理されたデータはディスプレー802に表示される。図3は画像処理ユニット801がOCT装置803やAO−SLO装置804と別個に記載されているが、OCT装置803やAO−SLO装置804の一つの機能として実装してもよい。
(処理フロー)
本実施形態における画像処理の動作について、図4のフローチャートを用いて説明する。なお、特に明記がない場合は、動作主体は画像処理ユニットである。
ステップS101において、AO−SLO装置からSLO動画像データを取得する。この時、次のステップS102でSLO−A(SLO Angiography)画像データを生成するため40fps(フレーム/秒)の画像データを5秒程度すなわち200フレームの画像データを取得する。AO−SLO装置の画像データは解像力2−5μm程度の高精細な画像データであり網膜上で1mm×1mmの領域の画像データを取得する。このAO−SLO装置の一枚の画像データで撮影できる縦方向の領域(焦点深度)は比較的狭く30μm〜60μm程度でありこの厚さ方向の情報が積算されて一枚の画像データが形成される。
ステップS102において、SLO−A画像データを生成する。ステップS101で取得した200フレームの画像データのMC(モーションコントラスト)を画像化し、図7に示すような血管画像データを得る。これはSLO血管造影(SLO−Angiography)と呼ばれる手法であり、血管の中を血球が移動すると戻り光の強度が変化するため、OCT−Aと同様MC(モーションコントラストデータ)を画像化することにより、2次元の血管画像データ(SLO−A画像データ)を生成する。
ステップS103において、OCT装置から取得した複数のOCTデータを用いてOCT−A画像データを取得する。OCT−A画像データは、同一部位を撮像した複数のOCTデータから得たモーションコントラストデータを画像化することにより生成する。これにより図5に示すように血液の流れている血管情報を画像化することができる。図5は、2次元の画像であるが実際にはOCT−A画像データは、深さ方向(z座標の方向)にも情報を持つ3次元ボクセルデータである。
ステップS104において、SLO−A画像データのスケール変換処理を行い、画素間隔をOCT−A画像データと一致させる。本実施形態において、SLO画像データは、眼底面でのスポット径が約3μmであり、1mm×1mmの領域を500×500画素で取得される。サンプリング間隔は、2μmである。これに対しOCT−A画像データは、3mm×3mmの領域を600×600画素で取得するためサンプリング間隔は、5μmである。したがって、SLO−A画像データを画素間隔5μmの200×200画素の画像データに既知の手法を用いてスケール変換した画像SLO−A−sc(xi,yj)(1≦i≦200、1≦j≦200)を得る(x座標、y座標の各位置における輝度値を表す)。
ステップS105において、OCT−A画像データをSLO画像データの焦点深度に合わせてZ方向(深さ方向)に積分する。SLO画像データは2次元画像データであるが、眼底からの戻り光をz座標の方向に積算した情報である。この積算のプロファイルは、SLOから得られるSLO光学系の被写界深度(SLO−DOF)に従う。例えば眼底でのビーム径が3μmのAO−SLO装置の場合、図9に示すように被写界深度は、30μm程度である。すなわちSLO画像データは、深度方向に30μmの領域からの戻り光を積算した画像データである。図10は、OCT−A画像データの一断面を示す。一つの四角は、1画素を示し、この場合4μmの間隔で深さ方向のデータを持つ。なお、画素の濃淡で輝度値の違いを表現している。そこでSLO−A画像データと相関演算を行うためSLO装置と同じ深さ情報を持つ画像データを生成する。これは、SLO画像データと同じ焦点深度にわたり加重移動平均を行った積算正面画像データ(En Face画像データ)を作成することと同じである。
OCT−A画像データの直交座標系(xyzの3次元座標系)における画像データをOCT−A(x,y,z)とすると、
積算OCT−A画像データ:OCT−A−s(x,y,z)=Σ(x,y,zi)(i−n/2→i+n/2)
(ただし n= SLO−DOF/OCT−Zpix)
ステップS106において、ステップS104で求めたスケール変換したSLO−A画像データと、ステップS105で求めた積算OCT−A画像データの相関演算を行い、相関係数を算出する。3次元OCT−A画像データの中からSLO−A画像データの対応する部位を求める。すなわち、積算OCT−A画像データより、z=Zp, X=xq〜Xq+199 Y=Yr〜Yn+199の領域の画像データを抜き出し、SLO−A画像データとの相関係数を求める。このxp,yq,zrを順に変更しOCT−A画像データの全領域につき相関係数を演算し、最大値を示す画像データを対応画像データとし、その画像データの開始アドレス(xp,yq,zr)を記録する。
ステップS107において、SLO−A画像データを細線化する。既知の細線化手法を用い図7に示したSLO−A画像データを細線化し、図5に示すような細線化画像データを得る。
ステップS108において、SLO−A画像データに対応するOCT−A画像データより、SLO−A画像データに表示される血管画像の深さ情報を求める。図11は、SLO−A画像データであり細線化されているため血管領域部分のX,Y座標に対応する画素の値は1であり、その他は0である。画素値が1であるアドレスを(xi,yj)とすると、図12に示すようにOCT−A画像データの対応するX,Y座標は(xi+xp,yj+yq)となる。次に前述のX,Y座標を有するOCT−A画像データの3次元データの中からZ方向に探索を行いMC値が最大値を示すZ座標を求める。この時のz座標の探索範囲は、z(r−n/2)〜z(r+n/2)である。これにより得られたz座標:Zkが血管領域のz座標となる。したがって、SLO−A画像データの当該血管の座標は、求めた(xi,yj,zk)となる。
ステップS109において、ステップS108で得られた血管領域のz座標を用いて細線化SLO−A画像データに立体情報を付加し血管フレームデータを作成する。SLO−A画像データの血管領域の中心座標に対応するスケール変換前のSLO−A画像データの対応点の座標に変換を行う。
ステップS110において、血管フレームデータの血管座標に対応した血管径を求める。血管領域の中心座標に対応する血管境界までの距離を求める。
ステップS111において、血管領域の3次元画像データを作成する。血管領域の中心データを通り、血管フレームデータに接する直線を回転軸に、ステップS110で求めた血管径の範囲の画像を回転し立体血管形状情報を作成する。2次元の血管画像を血管フレーム画像に貼り付けることにより血管領域の立体形状情報を作る。以上の処理を、フォーカス位置をフォーカス深度に対応する長さ毎に変更して取得された複数のSLO動画像データの分繰り返し実行することにより得られる立体形状情報のデータを基に、既知の3次元画像表示手法、例えば、断面表示、鳥瞰図表示を行う。
本実施形態によれば、SLO画像データの血管領域の正確な形状情報を、OCT−A画像データの正確な位置情報を用いて血管画像データ、特に、3次元血管画像データを生成することができる。
更に、生成した3次元血管画像データを表示することより、血管の診断をより効率よく行うことができる。
[第2の実施形態]
第1の実施形態は、OCT−A画像データ、SLO−A画像データを別個の装置で取得した場合について説明したが、OCTデータ、SLOデータを同時に共通の光学系を用いて取得する装置でデータ取得を行う場合の実施形態について説明する。それにより、第1の実施形態における相関演算で対応画像データを探す必要がなくなる。
第1の実施形態においては、AO−SLO画像データをもとに作成したSLO−A画像データを3次元表示する例を示したが、本実施形態では、SLO装置で撮影する手法の一つであるSD方式(スプリットディテクター方式)を用いることにより血管壁の画像データを取得する。そこで血流画像データに加えて、SLO−SD画像データを用いて撮像した血管壁の画像データも表示することによりさらに診断の効率を向上することができる。
図13は、一台の装置(いわゆる複合機)で同時にOCTデータ、SLOデータ、SLO−SDデータが得られる装置の例であり、OCT−Aデータ、SLO−Aデータを生成する装置である。
本実施形態においてOCTの光源1には、中心波長855nm、波長幅100nmのSLO(Super Luminescent Diode)光源を用いる。
光源1を発した光は、ファイバカプラ2によりサンプル光学系1001、参照光学系1002に分岐され、サンプル光学系1001側に分岐された光は、アダプター3、ファイバ4を介してサンプル光学系1001に導かれる。サンプル光学系1001は、コリメータレンズ5、AO−SLO光学系と分岐する波長分離ミラーであるBS(ビームスプリッタ)6、波面検知光学系1005へ光路を分岐するハーフミラーであるBS(ビームスプリッタ)7、ミラー8、凹面鏡9、形状可変ミラーであり波面補正に用いるDM(Defomable Mirror)10、凹面鏡11、OCT測定光とSLO測定光との分岐、合流を行う波長選択ミラーであるBS(ビームスプリッタ)12、測定光をY方向へ低速走査する第1の走査ミラー13、凹面鏡14、X方向に走査するガルバノミラー、メムス(MEMS)ミラー等の第2走査手段であるXスキャナ15、凹面鏡16、ミラー17a,17b、ミラー19、レンズ20、トラッキング、ステアリングに用いる第3の走査手段であるYスキャナ21、凹面鏡22、波長選択ミラーであり前眼部観察光学系1006、固視灯光学系1007との分岐を行うBS(ビームスプリッタ)23により構成される。ミラー17a,17bは一体となりステージ18により光軸方向に移動自在に構成されており、サンプル光学系1001のフォーカス調整を行う。
光源24はAO−SLO測定光を発するLD(Laser Diode)、SLD、LED等の光源であり、OCT測定光とは波長が異なる。本実施形態においては、中心波長760nm、波長幅10nmのSLD光源を用いる。光源24を発した光は、ファイバアダプタ25を介して、ファイバ26に導かれAO−SLO投影光学系1003に導かれる。AO−SLO投影光学系1003、コリメータレンズ27、受光光学系1004と分岐する10%の光は透過し、90%の光を反射するハーフミラーであるBS28、フォーカス調整用レンズ29,30、ミラー31に導かれる。ミラー31で反射した光は、SLO測定光は透過し、OCT測定光は反射する波長分岐ミラーであるBS6よりOCTサンプル光学系1001に合流し各部品を共有し、BS12に達する。
BS12は、OCT測定光は反射し、SLO測定光は透過する波長分岐ミラーであり、SLO測定光は透過し、高速なスキャナである高速スキャナ32で反射され再びBS12により、OCTサンプル光学系に合流する。その後は、OCTサンプル光学系と共通でありBS23までが、AO−SLO投影光学系を構成する。
AO−SLO受光光学系1004は、BS28の反射方向に配置され、レンズ33、共焦点ピンホールミラー34、APD(Abalanche Photo Diode), (PhotoMultiPlierTube)から成る受光素子35が配置される。受光素子35は共焦点ピンホールミラー34を介して眼底からの戻り光を受光する。
共焦点ピンホールミラー34は、眼底に投影された測定光のスポットと共役な部分の戻り光を透過し、それ以外の光を反射するミラーであり、共焦点絞りとして機能する。共焦点ピンホールミラー34は、光軸に対し角度をつけて配置してあるためその戻り光は、入射光路外に反射されレンズ36によりAPDセンサアレイ37上に結像される。
APDセンサアレイ37は図14に示すように4つの受光部分1101,1102,1103,1104により、それぞれの受光素子は光軸の周りに配置されている。すなわち共焦点ピンホールミラーの周辺で反射された非共焦点光は、上下左右に分かれて独立に受光され電気信号に変換されデジタルデータに変換されメモリーに記録される。この上下の受光信号強度の差、および左右の受光信号強度の差を演算することによりSLO−SD画像データを作成することができる。
高速スキャナ32としては、8kHから16kHz程度で往復スキャンできる共振スキャナやMEMS(Micro Electro Mechanical System)スキャナを用いることができる。また、AO−OCT測定光の眼底結像位置、AO−SLO測定光の高速スキャナが振り角0の状態(本実施形態では、x座標の0の状態)での眼底結像位置は、略同一になるように調整されている。
参照光学系1002は、コリメータレンズ40、濃度可変フィルタ41、ミラー42,43,44,45、コーナキューブミラーであるCQ46、ミラー47により構成される。CQ42は、反射面が直交する3面で構成され、ステージ46a上に配置され、光軸方向に±100mm程度移動可能である。これにより、被検眼の眼軸長の差、サンプル光学系のステージ18の移動によるOCT測定光のフォーカス調整による光路長の変化に対応する。
分光器1008の光学系は、コリメータレンズ48,グレーティング等の分光部材49、結像レンズ50によりラインセンサ51に干渉光が結像される。
波面検知光学系1005は、ミラー55、レンズ56、眼底共役絞り57、レンズ58、挿入離脱可能に配置されたフィルタ60、波面検知手段であるハルトマンシャックセンサ等の波面センサ61により構成される。絞り57は、眼底からの戻り光以外の不要な光が波面センサ61に入るのを防止する。
前眼部観察光学系1006はカメラ64を有し、前眼部照明光源65により照明された前眼部画像を撮像する。
固視灯投映光学系1007は有機EL、液晶表示装置等の固視灯提示部67を有し、可視光を透過する波長分岐ミラーである63,23を介して被検眼に固視目標を提示する。
また、62はPCであり、モニタ70に撮像時のGUIを表示したり、後述するように上述の各部を制御する。
(撮像方法)
次に、上述の構成の装置を用いて、AO−OCT画像データ、AO−SLO画像データ、AO−SLO−SD画像データの取得を、図16のフローチャートに従い説明する。
まず、被検眼Eを本装置の前に配置する。前眼部照明光源65により照明された被検眼Eの前眼部からの戻り光は、BS63により反射され、前眼部観察カメラ64により撮像され、モニタ70の前眼部画像表示領域80に表示される。撮像者は、この前眼部画像を見て、表示領域80の中心に被検者の瞳孔画像中心が位置し、虹彩の模様が明瞭に見えるように指示することにより、ステップS1301において、不図示のアライメント機構を用いて、光学系と被検眼瞳孔との位置合わせを行う。
アライメント終了後、撮像者はモニタ上のAO−SLO開始スイッチ71を操作する。このスイッチ入力を検知したPC62は、ステップS1302において、AO−SLO用光源24を点灯し、高速Yスキャナ32で主走査、Xスキャナ15を駆動し、SLO測定光による眼底のラスタスキャンを開始する。
このように照明された眼底Erでの反射、散乱光は、AO−SLO光学系を戻り、10%の光はBS7を透過し、眼底共役絞り57を介して波面センサ61に達する。BS7により反射された90%の光は、BS6を透過し、BS28により80%の光は反射され、レンズ33により共焦点ピンホールミラー34に集光され、そのピンホールを通過した光は、APD、PMT等から成る受光素子35に達する。受光素子35で受光した光量に応じた電気信号に基づいて、PC62が画像データを生成し、モニタ70上のAO−SLO画像表示領域81に眼底の正面画像が表示される。撮像者は、この画像を見ながら、フォーカススイッチ72を操作しフォーカス調整を行う。フォーカススイッチ72への入力を検知したPC62は、ステップS1303において、ミラー17a、17bを一体に光軸方向にステージ18の駆動部を制御する。これにより光学系内の眼底共役位置が変化しフォーカスを所望の深さ位置に合わせることができる。これは、バダル(Badal)光学系と呼ばれるもので、瞳の結像関係を維持したままフォーカス調整が可能である。これにより表示領域81には所望の深さのSLO画像データが表示される。
さらに撮像者は、固視灯操作スイッチ73を操作し所望の領域の画像が撮像されるように被検者の固視の位置を誘導、指示する。この指示に応じて、ステップS1304において、固視位置を変更する。
共焦点ピンホールミラー34のピンホール周辺で反射された光は、レンズ36により4分割APDセンサアレイ37に結像する。センサ部分は図14に示すように上下左右方向に4分割されており、上下方向のSD画像データは、センサ1101の出力−センサ1103の出力により、左右のSD画像データは、センサ1102の出力―センサ1104の出力により、また斜め45°方向のSD画像データは、
(センサ1101出力+センサ1104出力)−(センサ1103出力+センサ1102出力)
又は
(センサ1101出力+センサ1102出力)−(センサ1103出力+センサ1104出力)
により演算することができる。
SD画像データは、被写体の共焦点位置近傍の散乱光の指向性を画像化したものであり、血管の内壁(血管壁の内表面)、外壁(血管壁の外表面)を明瞭に撮像することが可能である。すなわちこのSD手法を用いることにより血中部分ではなく、血管の内壁、外壁の画像を得ることができる。同時に波面検知部は、ステップS1505において、眼底からの戻り光より収差を検知し、ステップS1506において、波面補正部を駆動し収差補正を行う。これにより、AO−SLO共焦点画像データ、AO−SLO−SD画像データを同時に取得する。
(AO−OCT撮像)
次に撮像者のスイッチ74の操作に応じて、ステップS1307において、OCT撮像を開始する。スイッチ74への入力を検知したPC62は、OCT光源1を点灯する。これによりカプラ2でサンプル光学系側に分岐された測定光は、ファイバ4よりサンプル光学系に入射する。サンプル光学系に入った光はコリメータレンズ5でコリメートされ、BS12に達する。前述の通りOCT測定光は、BS12で反射され、さらに第1の走査ミラー13で反射され、再びBS12で反射されることにより、AO−SLO測定光の光路に合流する。これにより、AO−OCT測定光は、高速スキャナ32の影響を受けることなく第2の走査ミラー15、第3の走査ミラー21を介して被検眼に達する。AO−OCT測定光の眼底で反射等された戻り光は、サンプル光学系を逆行し、BS12により反射され第1の走査ミラー13により反射され、再びBS12で反射され、ハーフミラーであるBS7に達する。BS7は、90%の光を反射し、10%の光を透過する透過特性を有する。BS7により10%の光は透過して、波面センサ61に向かい、残りの90%の光は、BS7とBS6で反射され、コリメータレンズ5によりファイバ4の端面に結像され、ファイバ4を通り、ファイバカプラ2に達する。
ここで第1の走査ミラー13は、OCT光をy座標の方向に副走査し、第2の走査ミラー15は、x座標の方向に主走査を行うことにより眼底の2次元走査を行う。これにより、OCT測定光の主走査は、SLO測定光の副走査に同期するが、副走査位置を任意に選べるため、固定されたSLO撮像範囲の中の任意の位置のOCT画像データ(x座標の任意の固定位置のBスキャン画像データ)が撮像できる。
SLO撮像時と同様に眼底からの戻り光の一部は、波面センサに達し、収差が検知され、ステップS1308において、波面補正器により収差補正される。
(参照光学系)
ファイバカプラ2により参照光側に分岐した参照光は、偏光調整器52で偏光状態がサンプル光学系と合うように偏光調整され、参照光学系1002に入り、参照光量調整用ND(Neutral Density)フィルタ41により適正な光量に調整される。そして、ミラー42、43、44、45で反射され、レトロリフレクタ46により反射された参照光は、ミラー45,44,43,42により反射され、ミラー47に達する。ミラー47により垂直に反射された光は、再び光路を逆行しカプラ2に戻る。
この参照光学系1002からの参照光と、サンプル光学系の被検眼眼底からの戻り光は、カプラ2で合流(合波)し干渉光として、分光器1008に導かれる。分光器1008に導かれた干渉光は、レンズ48でコリメートされ、回折格子等の分光部49により分光されレンズ50によりラインセンサ51上に干渉波が結像する。ラインセンサ51の出力はPC62に送られ、A/D変換部62aでデジタルデータに変換され、位置情報(x座標とy座標の位置情報)とともにメモリー62bに記憶される。このデータから固定パターンノイズの除去、波数変換の後、周波数解析等の既知の方法で演算され断層画像データが生成される。
(ゲート調整)
撮像者は、表示領域に所望の断層画像が表示されるように、図13に示す光路長調整スイッチ76を用いて参照光学系の光路長の調整を指示する。光路長調整スイッチ76への入力を検知したPC62は、指定の方向にステージ46aを駆動する。これによりレトロリフレクタ42は、光軸方向に移動し、光路長が変化する。そしてサンプル系と、参照系の光路長が略一致すると、ステップS1309において、表示領域82に視細胞の断層画像が表示される。
(撮像記録)
撮影スイッチ75が操作されると、OCT−Aスキャンモードでの走査が開始される。
撮影スイッチ75が操作されると、SLOの副走査ミラー15のX走査を主走査としてOCT撮像スキャンを開始する。このとき、MC画像データを得るために同一ラインを複数回走査しデータ取得を行う。同一ラインの複数回走査が終了したら、第1の走査手段であるY走査ミラー13を駆動し隣のラインの複数回走査を行う。このようにして順次主走査ラインを移動することによりSLOの撮像範囲全体にわたってOCT−Aデータを取得し、ステップS1310において、OCT−A画像データを生成し、位置情報(x座標、y座標、z座標の位置情報)とともに記憶する。それと同時にSLO画像データ、SLO−SD画像データの生成、及び位置情報(x座標とy座標の位置情報)とともに記憶を行う。
また、OCT−A画像データの撮像中、SLO画像データを、1フレーム前の画像データとの相関演算をおこなうことにより、被検眼の移動量を検知する。検知した移動量を走査ミラーの走査角度に換算し、走査角度をオフセット(x座標とy座標の方向の位置ずれ補正)することにより被検眼の動きに追従する。このようにしてOCT−A画像データの取得中のトラッキングを行う。
(3次元画像データ作成)
以上のような装置で得たSLOデータ、SLO−SDデータ、OCT−Aデータを用いてSLO−Aデータ、SLO−SDデータに深さ情報を加えて、3次元画像データを作成する方法について図15のフローチャートを使って説明する。
ステップS1201において、取得したOCTデータより、OCT−Aデータを作成する。ステップS1202において、取得した複数のSLOデータのモーションコントラストよりSLO−Aデータを作成する。ステップS1203において、取得した4種類のSLO−SDデータを用いて水平方向SD画像データ(SLO−SDH)、垂直方向SD画像データ(SLO−SDV)、斜め45°のSD画像データ(SLO−SD−45,SLO−SD+45)を作成する。ステップS1204において、SLO−SD画像データより血管壁画像を抽出する。SLO−A細線化画像データにより血管中心を求め、細線化した血管に垂直方向に血管情報としての内壁、外壁を判別し、外壁までの画像を抽出する。ステップS1205において、第1の実施形態と同様、細線化したSLO−A画像データの血管の座標位置情報に対応するOCT−A画像データより、深さ位置情報(z座標の位置情報)を求める。ステップS1206において、SLO−A細線化画像データに深さ情報を追加し、血管のフレームデータを作成する。ステップS1207において、第1の実施形態と同様、血管のフレーム画像データに、SLO−A画像データから取得した位置情報に対応する形態情報を付加し血管の3次元画像データを作成する。
以上までは、第1の実施形態と同様であるが、同一の撮像装置で撮影し、また同一のNA(開口数)の光学系で撮影しているため、焦点深度、画像解像力等が等しく、スケールを合わせたり、焦点深度を合わせたりする必要がない。
次に、ステップS1208において、SLO−Aによる血管画像に変えて、表示するSD画像データを選択する。撮像者は、SLO−SDH画像データ、SLO−SDL画像データ、SLO−SD−45画像データ、SLO−SD+45画像データを血管領域ごとに指定することができる。ステップS1209において、ステップS1208で指定されたSLO−SD画像データから抽出した血管領域の画像データを、SLO−A画像データから抽出した血管領域の画像データに変えて表示する。4方向のSD画像データを選択的に表示する。血管の走行方向によりコントラストの強調されるSD画像データの方向が異なるため、血管の走行方向に応じて、SD画像データの方向を選択できると診断の効率を向上することができる。もちろんSD画像データを、ステップS1207の血管画像データの表示に戻す、または、透かし表示等の手法を用いて重ねて表示することにより、血流部分と血管壁部分をそれぞれ診断することが可能になるため、血管の診断の効率を向上することができる。
[その他の実施例]
なお、上述した実施形態では、被検査物が眼の場合について述べているが、眼以外の皮膚や臓器等の被検査物に本発明を適用することも可能である。この場合、本発明は眼科撮影装置以外の、例えば内視鏡等の医療機器としての態様を有する。従って、本発明は眼科撮影装置に例示される画像処理装置として把握され、被検眼は被検査物の一態様として把握されることが好ましい。
また、本発明は、以下のように装置を構成することによっても達成できる。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(又は記憶媒体)をシステム或いは装置に供給することとしてもよい。また、該記録媒体の態様だけでなく、コンピュータの読み取り可能な記録媒体としてもよい。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、該記録媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、該実施形態は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

Claims (11)

  1. OCTデータから血管領域の位置情報を、及び、SLOデータから前記血管領域の形状情報を抽出する抽出手段と、
    前記位置情報と前記形状情報に基づいて、前記血管領域の3次元画像データを生成する生成手段とを有することを特徴とする画像処理装置。
  2. 前記OCTデータは、OCT−A画像データを含み、
    前記OCT−A画像データの血管領域を細線化する手段を更に有し、
    前記抽出手段は、細線化された血管領域の座標を位置情報として抽出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記SLOデータは、SLO−A画像データを含み、
    前記SLO−A画像データの血管領域を細線化する手段と、
    前記SLO−A画像データの細線化された血管領域の座標と、前記OCT−A画像データの細線化された血管領域の座標に基づいて、対応する血管領域を求める手段とを更に有し、
    前記抽出手段は、前記対応する血管領域の位置情報と形状情報を抽出することを特徴とする請求項2に記載の画像処理装置。
  4. 前記抽出手段は、前記血管領域の座標ごとに前記形状情報として血管径を抽出し、
    前記生成手段は、前記血管径を用いて前記3次元画像データを生成することを特徴とする請求項3に記載の画像処理装置。
  5. 前記SLOデータは、AO−SLOデータとスプリットディテクタにより検出されるSLO−SDデータの少なくともいずれかを含むことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記OCTデータは、ボリュームデータを含むことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記OCTデータを取得するOCT装置と、前記SLOデータを取得するSLO装置とを更に有することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 前記3次元画像データを表示手段に表示する手段を更に含むことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  9. 前記OCTデータから得られる3次元の位置情報、及び、前記SLOデータから得られる2次元の位置座標と形状情報とに基づいて、前記血管領域の3次元画像データを生成することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  10. OCTデータから血管領域の位置情報を、及び、前記SLOデータから前記血管領域の形状情報を抽出する抽出工程と、
    前記位置情報と前記形状情報に基づいて、前記血管領域の3次元画像データを生成する生成工程とを有することを特徴とする画像処理装置の制御方法。
  11. 請求項1乃至9のいずれか1項に記載の画像処理装置を、コンピュータにより実現するためのプログラム。
JP2018094677A 2018-05-16 2018-05-16 画像処理装置およびその制御方法 Pending JP2019198468A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018094677A JP2019198468A (ja) 2018-05-16 2018-05-16 画像処理装置およびその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018094677A JP2019198468A (ja) 2018-05-16 2018-05-16 画像処理装置およびその制御方法

Publications (1)

Publication Number Publication Date
JP2019198468A true JP2019198468A (ja) 2019-11-21

Family

ID=68611452

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018094677A Pending JP2019198468A (ja) 2018-05-16 2018-05-16 画像処理装置およびその制御方法

Country Status (1)

Country Link
JP (1) JP2019198468A (ja)

Similar Documents

Publication Publication Date Title
JP4819478B2 (ja) 眼科撮影装置
JP5545630B2 (ja) 眼科撮影装置
JP5850349B2 (ja) 眼科撮影装置
JP2011147609A (ja) 眼科撮影装置
JP6734642B2 (ja) 眼科装置
JP6775302B2 (ja) 眼科撮影装置
JP6776076B2 (ja) Oct装置
JP4949504B2 (ja) 眼科撮影装置
US20200297209A1 (en) Imaging apparatus and control method therefor
JP7459176B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
WO2019225290A1 (ja) 撮影装置及びその制御方法
JP6923392B2 (ja) 眼科装置
JP6923393B2 (ja) 眼科装置、及びその制御方法
JP2019005254A (ja) 眼科装置、及びその制御方法
JP5319010B2 (ja) 眼科撮影装置
JP5255711B2 (ja) 眼科撮影装置
JP2021102097A (ja) 眼科装置
WO2019198629A1 (ja) 画像処理装置およびその制御方法
JP2018068630A (ja) 断層画像取得装置及び方法
JP2020168266A (ja) 眼科光干渉断層撮影装置及び眼科光干渉断層撮影装置の制御方法
JP6934747B2 (ja) 眼科装置、及びその制御方法
JP6736304B2 (ja) 眼科撮影装置
JP6991272B2 (ja) 眼科撮影装置
JP2019198468A (ja) 画像処理装置およびその制御方法
JP6842280B2 (ja) 眼科撮影装置