JP5127897B2

JP5127897B2 - 眼科用画像処理装置及びその方法

Info

Publication number: JP5127897B2
Application number: JP2010191215A
Authority: JP
Inventors: 康文 ▲高▼間
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-08-27
Filing date: 2010-08-27
Publication date: 2013-01-23
Anticipated expiration: 2030-08-27
Also published as: JP2012045226A; CN102397055A; KR101405997B1; EP2422690B1; US9373172B2; US20120051611A1; EP2422690A1; KR20120020068A; CN102397055B

Description

本発明は、眼科診療などに用いられる眼科用画像処理装置及びその方法に関する。

光干渉断層計（ＯｐｔｉｃａｌＣｏｈｅｒｅｎｃｅＴｏｍｏｇｏｒａｐｈｙ、以下、ＯＣＴと呼ぶ。）を用いた装置により、眼底の２次元断層画像を取得することができる。眼科の医療現場において、ユーザは、眼底のボリュームデータに基づく画像（複数の２次元断層画像）から眼底の層構造、病変部の状態や分布、眼底血管の３次元的な走行などを観察することができる。

ここで、眼底のボリュームデータに基づく画像を表示する場合に、ボリュームデータに対してボリュームレンダリングや最大値投影などのレンダリング処理を施すことが、特許文献１に開示されている。このとき、特定の視線方向から見たときの疑似的な３次元画像の画像データを表示デバイスに表示させることができる。

特開２０１０−０００１９１号公報

ところで、眼底のボリュームデータに基づく画像における血管や白斑などは、高輝度な領域である。また、眼底のボリュームデータに基づく画像における神経線維層や網膜色素上皮なども高輝度な領域である。

このため、ユーザが血管や白斑などを観察し易くするために、眼底のボリュームデータに対して最大値投影法などによる画像処理を単に施しても、神経線維層や網膜色素上皮などの高輝度な領域も一緒に表示されてしまう。これでは、ユーザが血管や白斑などを観察し難いため、医療診断するには使い勝手が悪かった。

本発明に係る眼科用画像処理装置は、
被検眼の網膜のボリュームデータに基づく画像を取得する画像取得手段と、
前記画像を解析する画像解析手段と、
前記解析された画像から少なくとも１つの網膜層を指定する層指定手段と、
投影法を指定する投影法指定手段と、
前記指定された網膜層のボリュームデータを前記指定された投影法により投影した投影像を生成する投影像生成手段と、
前記生成された投影像を表示手段に表示させる表示制御手段と、
を有することを特徴とする。
また、本発明に係る眼科用画像処理方法は、
被検眼の網膜のボリュームデータに基づく画像を取得する工程と、
前記画像を解析する工程と、
前記解析された画像から少なくとも１つの網膜層を指定する工程と、
投影法を指定する工程と、
前記指定された網膜層のボリュームデータを前記指定された投影法により投影した投影像を生成する工程と、
前記生成された投影像を表示手段に表示させる工程と、
を含むことを特徴とする。

本発明によれば、ユーザが選択した表示モードや表示対象（血管や白斑など）に基づいて投影層と投影法とを自動的に設定することができる。また、ユーザが設定した投影法に基づいて投影層を設定することもできる。これにより、設定された投影層のボリュームデータを設定された投影法により投影した投影像を表示デバイスに表示することができるため、表示対象を観察し易くすることができる。

第１の実施形態に係る眼科用画像処理装置を示す構成図及び網膜の層構造を示す模式図第１の実施形態に係る眼科用画像処理装置の処理手順を示すフローチャート第２の実施形態に係る眼科用画像処理装置の処理手順を示すフローチャート第３の実施形態に係る眼科用画像処理装置の処理手順を示すフローチャート

本発明によれば、ユーザが選択した表示モードや表示対象（被検眼の眼底の血管や白斑など）に基づいて投影層と投影法とを自動的に設定することができる。また、ユーザが設定した投影法に基づいて投影層を設定することもできる。これにより、設定された投影層のボリュームデータを設定された投影法により投影した投影像を表示デバイスに表示することができるため、表示対象を観察し易くすることができる。

以下、本発明を実施するための最良の形態について、図面を用いて説明する。ただし、以下の記述は、本発明に係る好適な眼科用画像処理装置の一例であり、本発明はこれに限定されるものではない。

（第１の実施形態）
本実施形態に係る眼科用画像処理装置は、ユーザが表示モード群（あるいは表示対象群）から表示モード（あるいは表示対象）を選択した場合、各表示対象を容易に観察するために、最適な投影層と投影法とを自動的に設定し、投影像を取得することのできる方法である。本実施形態に係る眼科用画像処理装置について、図１（ａ）を用いて説明する。なお、図１（ａ）は、本実施形態に係る眼科用画像処理装置１の構成図である。また、図１（ａ）は、本実施形態に係る眼科用画像処理装置１に接続される機器のシステム構成図である。

眼科用画像処理装置１は、ＯＣＴなどの眼底の断層画像を撮る撮像装置２及びデータサーバ３と、イーサネット等によるローカル・エリア・ネットワーク（ＬＡＮ）４を介して接続されている。ＯＣＴは、複数の断層画像を取得することにより、眼底の網膜のボリュームデータを取得することができる。撮像装置２は、ユーザ（技師や医師）による操作に応じて被検者（患者）のボリュームデータに基づく画像を眼科用画像処理装置１に出力する。また、眼科用画像処理装置１は、撮像装置２により得られたボリュームデータを格納するデータサーバ３に接続され、そこから必要なボリュームデータに基づく画像を取得するように構成されてもよい。なお、これらの機器との接続は、ＵＳＢやＩＥＥＥ１３９４等のインターフェイスを介して行ってもよい。また、ＬＡＮ４によって、インターネット等の外部ネットワークを介して接続される構成であってもよい。

次に、図２のフローチャートを利用して、本実施形態における眼底用画像処理装置１の処理手順を説明する。
まず、Ｓ３０１において、画像取得部１１は、撮像装置２により撮像されたボリューム画像や、データサーバ３に蓄えられているボリューム画像を取得し、画像解析部１２に出力する。

次に、Ｓ３０２において、画像解析部１２は、ボリューム画像から、網膜層内部の各層を抽出する。網膜層内部の層抽出について図１（ｂ）を用いて説明する。図１（ｂ）は、網膜層内の各層４０１〜４１０と、ｚ軸方向に並行な１列の画素列Ａ（Ａ−ｓｃａｎ）を示している。４０１は内境界膜（ＩＬＭ）、４０２は神経線維層（ＮＦＬ）、４０３は神経節細胞層（ＧＣＬ）、４０４は内網状層（ＩＰＬ）、４０５は内顆粒層（ＩＮＬ）、４０６は外網状層（ＯＰＬ）、４０７は外顆粒層（ＯＮＬ）、４０８は外境界膜（ＥＬＭ）、４０９は視細胞内節外節接合部（ＩＳ／ＯＳ）、４１０は網膜色素上皮層（ＲＰＥ）を表す。また、層と層の境界は、上側層／下側層、のように表す。本実施例において、画像解析部１２はＩＬＭ４０１とＮＦＬ４０２／ＧＣＬ４０３、ＩＰＬ４０４／ＩＮＬ４０５、ＯＰＬ４０６／ＯＮＬ４０７、ＩＳ／ＯＳ４０９、ＲＰＥ４１０を少なくとも抽出する。なお、画像解析部１２が層を抽出するということと、層と層の境界を抽出することは同じである。例えば、硝子体と網膜との境界の内境界膜４０１と、神経線維層４０２／神経節細胞層４０３との境界を抽出することで、神経線維層４０２を抽出することになる。

網膜層の抽出について、まず、断層像に対して、メディアンフィルタとＳｏｂｅｌフィルタをそれぞれ適用して画像を作成する（以下、メディアン画像、Ｓｏｂｅｌ画像とする）。次に、変換したメディアン画像とＳｏｂｅｌ画像から、Ａ−ｓｃａｎ毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。そして、Ｓｏｂｅｌ画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層を抽出する。入力されたボリューム画像と抽出した層情報を投影像生成部１６へ出力する。

また、Ｓ３０３において、表示モード選択部１３（表示対象選択部とも呼ぶ）は、ユーザによって選択された表示モード（あるいは表示対象）を層設定部１４と投影法設定部１５とに出力する。層設定部１４は、表示モードに応じて投影層（あるいは投影する層間）を設定する。また、投影法設定部１５は、表示モードに応じて被検眼のボリュームデータの少なくとも１部を投影する投影法を設定する。そして、設定された投影層と投影法とは投影像生成部１６に出力される。なお、表示対象選択部により選択された表示対象に応じて投影する層間と投影法とを自動的に選択しても良い。ここで、投影法設定部１５で設定する投影法は、最大値投影法や最小値投影法である。これらは、特定の視線方向から見たときの疑似的な３次元画像の画像データを表示デバイスに表示させる手法である。最大値投影法は、血管や白斑などの高輝度な組織を観察するのに有効な投影法である。また、最小値投影法は、のう胞などの低輝度な領域を観察するのに有効な投影法である。ユーザによる表示モードの選択は血管モード、血管影モード、白斑モード、のう胞モードが可能であり、以下に、それぞれの選択が行われた場合の処理について具体的に示す。

まず、血管モードが選択された場合、Ｓ３０４において、層設定部１４は、ＧＣＬとＩＰＬに血管の走行がよく見られることから、投影層にＧＣＬとＩＰＬを設定する。さらに、断層像上では血管領域が高輝度であることから、Ｓ３０８において、投影法設定部１５で最大値投影法を設定する。この設定に基づいて、ＮＦＬ／ＧＣＬからＩＰＬ／ＩＮＬまでの領域のボクセルを最大値投影することにより、網膜の血管の３次元走行を観察することが可能になる。

また、血管影モードが選択された場合、Ｓ３０５において、層設定部１４は、投影層にＩＳ／ＯＳ−ＲＰＥ間の層を設定する。さらに、Ｓ３０８において、投影像の血管影領域とその他の領域のコントラストを大きくするために、投影法設定部１５で最大値投影法を設定する。この設定に基づいて、ＩＳ／ＯＳからＲＰＥまでの領域のボクセルを最大値投影することにより、血管影が容易に観察できる血管影投影像を生成することが可能になる。

また、白斑モードが選択された場合、Ｓ３０６において、層設定部１４は、ＩＮＬとＯＰＬに白斑が多く発生するという知見から、ＩＮＬとＯＰＬを投影層に設定する。さらに、Ｓ３０８において、白斑が高輝度であることから、投影法設定部１５で最大値投影法を設定する。ＮＦＬやＲＰＥの高輝度領域を除いて最大値投影することにより、これらの層より内側にある白斑などの高輝度な病変が観察し易い投影像を生成することが可能になる。

また、のう胞モードが選択された場合、Ｓ３０７において、層設定部１４は、ＩＮＬ、ＯＰＬ、ＯＮＬにのう胞が多く発生するという知見から、投影層にＩＮＬ、ＯＰＬ、ＯＮＬを設定する。さらに、Ｓ３０９において、のう胞が低輝度領域であることから、投影法設定部１５で最小値投影法を設定する。これらの設定に基づいて、ＩＰＬ／ＩＮＬからＩＳ／ＯＳまでの領域のボクセルを最小値投影することにより、のう胞のような低輝度な病変が観察し易い投影像を生成することが可能になる。

また、Ｓ３１０において、投影像生成部１６は設定された投影層と投影法とに基づいてボリューム画像の投影像を生成し、表示制御部１７に出力する。
そして、Ｓ３１１において、表示制御部１７は生成した投影像をディスプレイなどの表示デバイス（不図示）に表示させる。
以上の構成により、ユーザが表示モードを選択した場合、表示対象を容易に観察できるような投影像を生成するための最適な投影層と投影法とを自動で設定することが可能になる。

さらに、本実施形態では投影層と投影法とが自動で設定されるようにしたが、ユーザの判断で手動設定するようにしても良い。これは、例えば、抽出した層に対応するチェックボタンを設け、それがＯｎ状態のときに対応する層を投影対象にしたり、Ｏｆｆ状態のときに投影対象から除いたりすることで実現できる。投影する層を手動で設定することによって、ユーザは病変が含まれる層を特定することが可能になる。

（第２の実施形態）
本実施形態では、病変や血管の網膜層内における広がりを一度に観察するために、投影像を層毎に生成し、それらを並べて表示する方法について述べる。本実施形態に係る眼科用画像処理装置の処理手順について、図３のフロー図を用いて説明する。なお、Ｓ５０１、Ｓ５０２は、Ｓ３０１、Ｓ３０２とそれぞれ同じ処理なので説明は省略する。本実施形態では、Ｓ５０３において、抽出したすべての層を投影層として設定したとする。さらに、Ｓ５０４において、投影法は最大値投影法を設定したとする。

まず、Ｓ５０５において、ユーザは設定された層毎に投影像を生成するか、設定された層をまとめて投影像を生成するかを選択する。層をまとめて投影像を生成する場合、Ｓ５０８とＳ５０９は第１の実施形態のＳ３１０とＳ３１１とそれぞれ同じ処理をする。
また、Ｓ５０５において、層毎に投影像を生成することを選択した場合、Ｓ５０６において、投影像生成部１６は設定された層毎に投影像を生成する。本実施例では、ＮＦＬ、ＩＰＬ、ＩＮＬ、ＯＰＬ、ＯＮＬ、ＩＳ／ＯＳからＲＰＥまでの層において別々に最大値投影像を生成する。生成したすべての投影像は表示制御部１７に出力される。
そして、Ｓ５０７において、表示制御部１７は生成された投影像をそれぞれ２×３のマトリックス状に並べて表示デバイス（不図示）に表示させる。これにより、ユーザは病変や血管の網膜層内における広がりを表示デバイスの同一画面上に表示することができる。

（第３の実施形態）
本実施形態では、設定した輝度領域における表示対象の３次元分布を観察するために、ユーザが所定の輝度値に応じて重み付けする重み付け投影法を選択した場合を考える。このとき、所定の輝度値に応じて重み関数を設定し、この重み関数を用いて投影像を生成する。本実施形態に係る眼科用画像処理装置の処理手順について、図４のフロー図を用いて説明する。なお、Ｓ７０１〜Ｓ７０９は、Ｓ３０１〜Ｓ３０９とそれぞれ同じ処理なので説明は省略する。さらに、Ｓ７１３もＳ３１１と同じ処理である。本実施形態では、表示モードは白斑モードを選択したとする。

まず、Ｓ７１０において、ユーザが重み付け投影をすることを選択した場合、Ｓ７１１において、投影像生成部１６は重み関数を設定する。重み関数は、例えば、高輝度な白斑を表示する場合、網膜層ヒストグラムの頻度上位ｎ％の輝度値範囲を重み１にし、それ以外を０に設定する。
また、Ｓ７１２において、投影像生成部１６は視線上のボクセルの輝度値とこの重みとを掛けた値の中から最大値を投影することで投影像を生成し、表示制御部１７に出力する。
以上の構成により、ユーザはボクセルの輝度値に対して重みを設定し、輝度値と重みを掛けた値の中から最大値もしくは最小値を投影した投影像が生成可能である。したがって、ユーザは設定した輝度領域における表示対象の３次元分布を観察することが可能になる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１眼科用画像処理装置
１１画像取得部
１２画像解析部
１３表示モード選択部
１４層設定部
１５投影法設定部
１６投影像生成部
１７表示制御部

Claims

被検眼の網膜のボリュームデータに基づく画像を取得する画像取得手段と、
前記画像を解析する画像解析手段と、
前記解析された画像から少なくとも１つの網膜層を指定する層指定手段と、
投影法を指定する投影法指定手段と、
前記指定された網膜層のボリュームデータを前記指定された投影法により投影した投影像を生成する投影像生成手段と、
前記生成された投影像を表示手段に表示させる表示制御手段と、
を有することを特徴とする眼科用画像処理装置。
前記投影法指定手段が、前記指定された網膜層のボリュームデータのうち所定の条件を満たすデータを投影する投影法を指定することを特徴とする請求項１に記載の眼科用画像処理装置。
前記層指定手段が、前記解析された画像における網膜層のうち神経線維層と網膜色素上皮層とを除いた網膜層を指定し、
前記投影法指定手段が、前記指定された網膜層のボリュームデータのうち所定値以上の輝度を有するデータを投影する投影法を指定することを特徴とする請求項１あるいは２に記載の眼科用画像処理装置。
前記投影法指定手段が最大値投影法を指定した場合に、
前記層指定手段が、前記解析された画像における網膜層のうち神経線維層と網膜色素上皮層とを除いた網膜層を指定することを特徴とする請求項１乃至３のいずれか１項に記載の眼科用画像処理装置。
表示対象を選択する選択手段を有し、
前記層指定手段が、前記選択された表示対象に基づいて、前記解析された画像から少なくとも１つの網膜層を指定することを特徴とする請求項１乃至４のいずれか１項に記載の眼科用画像処理装置。
前記投影法指定手段が、前記選択された表示対象に基づいて、投影法を指定することを特徴とする請求項５に記載の眼科用画像処理装置。
前記層指定手段が、前記選択された表示対象の輝度値に基づいて、前記解析された画像から少なくとも１つの網膜層を指定し、
前記投影法指定手段が、前記選択された表示対象の輝度値に基づいて、投影法を指定することを特徴とする請求項６に記載の眼科用画像処理装置。
前記選択手段が、表示モード群から表示モードを前記表示対応として選択し、
前記表示モード群が白斑モードを含み、前記選択手段により該表示モード群から該白斑モードが選択された場合に、前記層指定手段が前記解析された画像における網膜層のうち神経線維層と網膜色素上皮層とを除いた網膜層を指定し、且つ前記投影法指定手段が最大値投影法を指定することを特徴とする請求項５乃至７のいずれか１項に記載の眼科用画像処理装置。
前記選択手段が、表示モード群から表示モードを前記表示対応として選択し、
前記表示モード群がのう胞モードを含み、前記選択手段により該表示モード群から該のう胞モードが選択された場合に、前記層指定手段が前記解析された画像における網膜層のうち内顆粒層から外顆粒層までの網膜層を指定し、且つ前記投影法指定手段が最小値投影法を指定することを特徴とする請求項５乃至８のいずれか１項に記載の眼科用画像処理装置。
前記表示制御手段が、前記指定された網膜層毎に、前記指定された投影法により投影した投影像を並べて前記表示手段に表示させることを特徴とする請求項１乃至９のいずれか１項に記載の眼科用画像処理装置。
被検眼の網膜のボリュームデータに基づく画像を取得する工程と、
前記画像を解析する工程と、
前記解析された画像から少なくとも１つの網膜層を指定する工程と、
投影法を指定する工程と、
前記指定された網膜層のボリュームデータを前記指定された投影法により投影した投影像を生成する工程と、
前記生成された投影像を表示手段に表示させる工程と、
を含むことを特徴とする眼科用画像処理方法。
前記投影法を指定する工程では、前記指定された網膜層のボリュームデータのうち所定の条件を満たすデータを投影する投影法を指定することを特徴とする請求項１１に記載の眼科用画像処理方法。
前記網膜層を指定する工程では、前記解析された画像における網膜層のうち神経線維層と網膜色素上皮層とを除いた網膜層を指定し、
前記投影法を指定する工程では、前記指定された網膜層のボリュームデータのうち所定値以上の輝度を有するデータを投影する投影法を指定することを特徴とする請求項１１あるいは１２に記載の眼科用画像処理方法。
前記投影法を指定する工程で最大値投影法が指定された場合に、
前記網膜層を指定する工程では、前記解析された画像における網膜層のうち神経線維層と網膜色素上皮層とを除いた網膜層を指定することを特徴とする請求項１１乃至１３のいずれか１項に記載の眼科用画像処理方法。
請求項１１乃至１４のいずれか１項に記載の眼科用画像処理方法の各工程をコンピュータに実行させるプログラム。