JP5404167B2 - 画像処理装置及びその制御方法、並びに、プログラム - Google Patents

Description

本発明は、被写体を撮影して得られた画像の処理を行う画像処理装置及びその制御方法、当該制御方法等をコンピュータに実行させるためのプログラム、並びに、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体に関するものである。特に、被写体として眼部を撮影して得られた画像の処理を行うものに用いて好適である。

例えば、眼科における画像診断では、従来から広く用いられてきた眼底画像に加えて、近年、断層画像を用いることにより、被検者の眼部における網膜層内部の状態を３次元的に観察することが可能である。したがって、断層画像を用いた診断は、疾病の診断をより的確に行うために有用であると期待されている。

上述した眼底画像は、例えば、眼底カメラや走査型レーザー検眼鏡（Ｓｃａｎｎｉｎｇ＿Ｌａｓｅｒ＿Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ：ＳＬＯ）、ＩＲなどを用いて撮像される。また、上述した断層画像は、光干渉断層計（Ｏｐｔｉｃａｌ＿Ｃｏｈｅｒｅｎｃｅ＿Ｔｏｍｏｇｒａｐｈｙ：ＯＣＴ）などを用いて撮像される。

図６は、ＯＣＴを用いて撮影された、眼部の網膜における黄斑部の断層画像６００の一例を示す模式図である。
ＯＣＴによる眼部の断層画像６００は、３次元的に得られる。図６において、断面画像Ｔ₁〜Ｔ_nは、黄斑部の二次元断面画像（Ｂ−ｓｃａｎ画像）である。

図７は、図６に示す断面画像Ｔ₁〜Ｔ_nを深度方向に積算して作成した積算画像７００の一例を示す模式図である。
ここで、深度方向とは、図６のｚ方向であり、また、深度方向に積算する処理とは、図６のｚ方向の各深度位置における光強度（輝度値）を足し合わせる処理である。

図８は、眼底画像８００の一例を示す模式図である。
黄斑部の断層画像投影領域８０３は、図６に示す断層画像６００を−ｚ方向から投影し、当該眼底画像８００中の、断層画像６００に対応する領域を示したものである。

このように断層画像では、眼底画像に比べて眼底部分の中の狭い領域のみしか撮影できず、図８に示す視神経乳頭部８０１及び黄斑部８０２の両方を撮像することが不可能であることが一般的である。

従来、例えば、下記の特許文献１には、断層画像撮影装置において、眼底部の特定の位置を撮影するための技術が提案されている。また、例えば、下記の特許文献２には、眼底画像撮影装置において、過去に撮影した病変部分を設定しておき、次回の撮影時の関心領域の位置、大きさ、露出等を設定する技術が提案されている。

特開２００７−１８５２４４号公報 特開２００１−２７５９７９号公報

しかしながら、上述した従来の技術では、以下の課題があった。

特許文献１では、同一の断層画像撮影装置で撮影された断層画像を利用することのみしか考慮されていない。そのため、例えば、断層画像撮影装置の性能が向上し、撮影可能領域が拡大した場合には、撮影領域を決定することができずに、操作者が撮影領域を指定する必要がある。また、その場合以前の撮影領域とその場合以後の撮影領域とがずれてしまい、経過観察が行い難くなる。また、例えば、視神経乳頭部や黄斑部等の、眼部の重要部位を考慮して、撮影領域を決定することもできない。

また、特許文献２には、上述したように、過去に撮影した画像（以下、「過去画像」と呼ぶ）の関心領域の設定に応じて、次回の撮影時の関心領域の位置、大きさ、露出等の撮影条件を設定することが提案されている。しかしながら、特許文献２では、撮影対象が眼底画像であるため、そもそも撮影可能領域が広く、撮影可能領域が拡大することは考慮されていない。また、特許文献２では、撮影装置の性能が向上し、より広い領域が撮影可能になった場合、効果的な撮影領域を設定することは考慮されていない。

本発明は、このような問題点に鑑みてなされたものであり、過去画像との比較による経過観察を可能とし、且つ、診断に有効な撮影領域の設定を可能とする仕組みを提供することを目的とする。

本発明の画像処理装置は、過去に撮影された被写体の第１の断層画像を取得する断層画像取得手段と、前記第１の断層画像の撮影領域である第１の撮影領域を含む前記被写体の広範な撮影領域に係る広範画像を画像記憶部に記憶する記憶手段と、前記第１の断層画像と前記広範画像を用いて、前記第１の撮影領域を算出する第１の撮影領域算出手段と、前記広範画像の中から、前記被写体の重要部位の位置を抽出する重要部位の位置抽出手段と、前記被写体の第２の撮影領域における断層画像を撮影する断層画像撮影手段と、前記断層画像撮影手段で撮影可能な最大撮影サイズの情報を取得する撮影サイズ取得手段と、前記第１の撮影領域の情報、前記重要部位の位置の情報、及び、前記最大撮影サイズの情報に基づいて、前記第２の撮影領域を算出する第２の撮影領域算出手段とを有する。
本発明の画像処理装置における他の態様は、過去に撮影された被写体の第１の断層画像を取得する断層画像取得手段と、前記第１の断層画像の撮影領域である第１の撮影領域を含む前記被写体の広範な撮影領域に係る広範画像を画像記憶部に記憶する記憶手段と、前記第１の断層画像と前記広範画像を用いて、前記第１の撮影領域を算出する第１の撮影領域算出手段と、前記広範画像の中から、前記被写体の重要部位の位置を抽出する重要部位の位置抽出手段と、前記被写体の第２の撮影領域における断層画像を撮影する断層画像撮影手段と、前記第１の撮影領域を含み且つ前記重要部位を含む領域を、前記第２の撮影領域として算出する第２の撮影領域算出手段とを有する。

本発明の画像処理装置の制御方法は、画像の処理を行う画像処理装置の制御方法であって、過去に撮影された被写体の第１の断層画像を取得する断層画像取得ステップと、前記第１の断層画像の撮影領域である第１の撮影領域を含む前記被写体の広範な撮影領域に係る広範画像を画像記憶部に記憶する記憶ステップと、前記第１の断層画像と前記広範画像を用いて、前記第１の撮影領域を算出する第１の撮影領域算出ステップと、前記広範画像の中から、前記被写体の重要部位の位置を抽出する重要部位の位置抽出ステップと、前記被写体の第２の撮影領域における断層画像を撮影する断層画像撮影手段から、当該断層画像撮影手段で撮影可能な最大撮影サイズの情報を取得する撮影サイズ取得ステップと、前記第１の撮影領域の情報、前記重要部位の位置の情報、及び、前記最大撮影サイズの情報に基づいて、前記第２の撮影領域を算出する第２の撮影領域算出ステップとを有する。
本発明の画像処理装置の制御方法における他の態様は、画像の処理を行う画像処理装置の制御方法であって、過去に撮影された被写体の第１の断層画像を取得する断層画像取得ステップと、前記第１の断層画像の撮影領域である第１の撮影領域を含む前記被写体の広範な撮影領域に係る広範画像を画像記憶部に記憶する記憶ステップと、前記第１の断層画像と前記広範画像を用いて、前記第１の撮影領域を算出する第１の撮影領域算出ステップと、前記広範画像の中から、前記被写体の重要部位の位置を抽出する重要部位の位置抽出ステップと、前記第１の撮影領域を含み且つ前記重要部位を含む領域を、断層画像撮影手段において断層画像を撮影する前記被写体の第２の撮影領域として算出する第２の撮影領域算出ステップとを有する。

本発明のプログラムは、前記画像処理装置の各手段としてコンピュータを機能させるためのものである。
本発明のプログラムにおける他の態様は、前記画像処理装置の制御方法の各ステップをコンピュータに実行させるためのものである。

本発明のコンピュータ読み取り可能な記憶媒体は、前記プログラムを記憶する。

本発明によれば、過去画像との比較による経過観察を可能とし、且つ、診断に有効な撮影領域の設定を可能とする仕組みを提供することができる。

本発明の実施形態に係る眼部画像撮影システム（画像処理システム）の概略構成の一例を示す模式図である。 図１に示す第１の撮影領域算出部の内部構成の一例を示す模式図である。 本発明の実施形態に係る眼部画像撮影装置（画像処理装置）の制御方法における処理手順の一例を示すフローチャートである。 図３のステップＳ１０３における第１の撮影領域の位置算出処理の詳細な処理手順の一例を示すフローチャートである。 図１の画像撮影制御部に適用可能なハードウェア構成の一例を示す模式図である。 ＯＣＴを用いて撮影された、眼部の網膜における黄斑部の断層画像の一例を示す模式図である。 図６に示す断面画像Ｔ₁〜Ｔ_nを深度方向に積算して作成した積算画像の一例を示す模式図である。 眼底画像の一例を示す模式図である。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。なお、以下に示す実施形態においては、本発明に係る画像処理装置として、被検者の眼部における画像を撮影する眼部画像撮影装置を適用した例について説明する。また、以下に示す実施形態においては、被写体として眼部を適用した例について説明するが、本発明においてはこれに限定されるわけではなく、例えば、断層画像の撮影対象となるものであれば如何なる被写体も適用可能である。また、以下に示す実施形態は、一例に過ぎず、本発明は、図示された構成等に限定されるものではない。

図１は、本発明の実施形態に係る眼部画像撮影システム（画像処理システム）１０の概略構成の一例を示す模式図である。
眼部画像撮影システム１０は、図１に示すように、眼部画像撮影装置（画像処理装置）１００、ＬＡＮ２００、及び、画像データベース３００を有して構成されている。

眼部画像撮影装置１００は、ＬＡＮ２００を介して、過去画像を格納する画像データベース３００と接続されている。即ち、眼部画像撮影装置１００は、画像データベース３００から過去画像を取得し、また、画像データベース３００に対して撮影した画像を過去画像として保存できるように構成されている。

眼部画像撮影装置１００は、図１に示すように、画像撮影制御部１１０、眼底画像撮影部１２０、及び、断層画像撮影部１３０を有して構成されている。

また、画像撮影制御部１１０は、図１に示すように、断層画像取得部１０１、画像記憶部１０２、第１の撮影領域算出部１０４、撮影サイズ取得部１０５、撮影誤差取得部１０６、及び、第３の撮影領域算出部１０７を有して構成されている。さらに、画像撮影制御部１１０は、図１に示すように、重要部位の位置抽出部１０３、第２の撮影領域算出部１０８、撮影指示部１０９、画像情報出力部１１１、及び、画像表示部１１２を有して構成されている。

眼底画像撮影部１２０は、例えば、走査型レーザー検眼鏡（Ｓｃａｎｎｉｎｇ＿Ｌａｓｅｒ＿Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ：ＳＬＯ）を利用して、被検者の眼部における眼底画像を撮影する。なお、本例では、眼底画像撮影部１２０がＳＬＯを利用して眼底画像を撮影するものとしているが、例えば、ＩＲなどを利用して眼底画像を撮影するものであってもよい。

断層画像撮影部１３０は、被検者の眼部における断層画像を撮影する。なお、本例では、断層画像撮影部１３０がスペクトラルドメイン方式のＯＣＴを利用して断層画像を撮影するものとするが、他方式を利用して断層画像を撮影するものであってもよい。

眼底画像撮影部１２０と断層画像撮影部１３０とは、相互に接続されており、例えば特許文献１等に示されている既知の手法により、眼底画像を常に撮影しながら、断層画像の撮影を行うことができるように構成されている。具体的には、それぞれの画像の撮影に使うレーザーの位置関係を制御することによって、眼底画像上における任意の位置の断層画像を撮影することが可能に構成されている。

断層画像取得部１０１は、画像データベース３００から過去画像を取得して画像記憶部１０２に記憶する。ここで、断層画像取得部１０１において、画像データベース３００から取得する過去の断層画像を第１の断層画像とする。なお、第１の断層画像としては、例えば、断層画像撮影部１３０以外の他の断層画像撮影部で撮影された画像も適用できる。

画像記憶部１０２は、断層画像取得部１０１で取得した過去画像を記憶するとともに、眼底画像撮影部１２０で撮影された眼底画像及び断層画像撮影部１３０で撮影された断層画像を記憶して、格納する。

重要部位の位置抽出部１０３は、画像記憶部１０２に記憶されている画像を取り込み、例えば視神経乳頭部や黄斑部などの重要部位の位置を抽出し、この情報を第２の撮影領域算出部１０８に出力する。

第１の撮影領域算出部１０４は、画像記憶部１０２に記憶されている画像から過去画像の撮影領域（第１の撮影領域）の位置を算出し、この情報を第３の撮影領域算出部１０７に出力する。

撮影サイズ取得部１０５は、断層画像撮影部１３０から当該断層画像撮影部１３０で撮影可能な最大撮影サイズの情報を取得し、この情報を第３の撮影領域算出部１０７及び第２の撮影領域算出部１０８に出力する。

撮影誤差取得部１０６は、断層画像撮影部１３０で撮影するときに発生する撮影位置の誤差を取得し、この情報を第３の撮影領域算出部１０７に出力する。

第３の撮影領域算出部１０７は、撮影サイズ取得部１０５及び撮影誤差取得部１０６からの情報を用いて第１の撮影領域算出部１０４から出力された第１の撮影領域における周囲の領域（第３の撮影領域）の位置を算出する。そして、第３の撮影領域算出部１０７は、第３の撮影領域の位置に係る情報を第２の撮影領域算出部１０８に出力する。

第２の撮影領域算出部１０８は、重要部位の位置抽出部１０３からの重要部位の位置情報、撮影サイズ取得部１０５からの最大撮影サイズの情報及び第３の撮影領域算出部１０７からの第３の撮影領域の位置情報を用いて、第２の撮影領域の位置を算出する。ここで、第２の撮影領域は、断層画像撮影部１３０において実際に撮影を行う撮影領域である。

撮影指示部１０９は、第２の撮影領域算出部１０８で算出された第２の撮影領域の位置情報を断層画像撮影部１３０に送信し、断層画像撮影部１３０に対して当該第２の撮影領域の断層画像の撮影を行う旨の指示を出す。これにより、断層画像撮影部１３０において、第２の撮影領域について断層画像（第２の断層画像）の撮影が行われ、この第２の断層画像が画像記憶部１０２に記憶される。

画像情報出力部１１１は、画像記憶部１０２に記憶された第２の断層画像を取得して、ＬＡＮ２００を介して第２の断層画像を画像データベース３００に出力する。

画像表示部１１２は、画像記憶部１０２に記憶されている眼底画像や第２の断層画像等を表示する。

次に、図１に示す第１の撮影領域算出部１０４の内部構成について説明する。
図２は、図１に示す第１の撮影領域算出部１０４の内部構成の一例を示す模式図である。この図２には、第１の撮影領域算出部１０４の内部構成以外に、第１の撮影領域算出部１０４と接続される画像記憶部１０２及び第３の撮影領域算出部１０７も図示している。

第１の撮影領域算出部１０４は、図２に示すように、積算画像作成部１０４１、断層画像特徴抽出部１０４２、眼底画像特徴抽出部１０４３、及び、位置合わせ部１０４４を有して構成されている。これらの各構成部については、図４のフローチャートを用いた説明の中で併せて説明を行う。

次に、眼部画像撮影装置１００の制御方法における処理の流れについて説明する。

図３は、本発明の実施形態に係る眼部画像撮影装置（画像処理装置）１００の制御方法における処理手順の一例を示すフローチャートである。

＜ステップＳ１０１＞
まず、ステップＳ１０１において、断層画像取得部１０１は、画像データベース３００に保存されている第１の断層画像を取得する処理を行う。具体的に、断層画像取得部１０１は、画像データベース３００に保存されている第１の断層画像の中から、撮影対象となる被検者の第１の断層画像を取得し、これを画像記憶部１０２に保存する。この際、断層画像取得部１０１は、画像データベース３００が保持している当該第１の断層画像における被検眼に関する情報を取得し、この情報も画像記憶部１０２に保存する。ここで、被検眼に関する情報とは、例えば、被検者（患者）の氏名、年齢、性別や、検査対象が右眼であるか左眼であるかなどの情報である。

＜ステップＳ１０２＞
続いて、ステップＳ１０２において、画像撮影制御部１１０は、眼底画像撮影部１２０で撮影された眼底画像を眼底画像撮影部１２０から取得し、当該眼底画像を画像記憶部１０２に記憶する処理を行う。ここで、眼底画像撮影部１２０で撮影された眼底画像は、断層画像取得部１０１で取得した第１の断層画像の撮影領域である第１の撮影領域を含む眼部の広範な撮影領域に係る広範画像に相当するものである。また、この眼底画像を画像記憶部１０２に記憶する処理を行う画像撮影制御部１１０は、記憶手段を構成する。

＜ステップＳ１０３＞
続いて、ステップＳ１０３において、第１の撮影領域算出部１０４は、画像記憶部１０２に記憶されている眼底画像及び第１の断層画像を用いて、第１の断層画像の撮影領域（第１の撮影領域）の位置を算出する処理を行う。具体的に、例えば、眼底画像の撮影領域の中から、第１の断層画像に相当する領域を第１の撮影領域として算出する。そして、第１の撮影領域算出部１０４は、第１の撮影領域の位置情報を第３の撮影領域算出部１０７に出力する。

図８は、上述したように眼底画像の模式図であり、第１の撮影領域８０３は、眼底画像の眼底画像中での対応領域である。即ち、図８の例では、第１の撮影領域算出部１０４は、第１の撮影領域８０３の眼底画像中での位置を算出する。また、本実施形態では、眼底画像中における第１の断層画像の位置によって、断層画像の位置を定義する。このように、眼底画像を利用することによって、第１の断層画像中に含まれていない重要部位に関する処理を正確に行うことができる。このステップＳ１０３の処理の詳細については、図４を用いて後述する。

＜ステップＳ１０４＞
続いて、ステップＳ１０４において、重要部位の位置抽出部１０３は、画像記憶部１０２に記憶されている眼底画像の中から、重要部位の位置を抽出し、この情報を第２の撮影領域算出部１０８に出力する。

本実施形態では、眼部の黄斑部及び視神経乳頭部の位置を重要部位として抽出（検出）する例について説明を行うが、検出する対象としては眼部の様々な重要部位が考えられ、本例で示す黄斑部と視神経乳頭部の抽出に限定されるものではない。

ここで、ステップＳ１０４の処理の詳細について説明する。
まず、重要部位の位置抽出部１０３は、眼底画像から血管の抽出を行う。この際、血管は細い線状構造を有しているため、重要部位の位置抽出部１０３は、線状構造を強調するフィルタを用いて血管を抽出する。ここで、線状構造を強調するフィルタとしては、例えば、線分を構造要素としたときに構造要素内での画像濃度値の平均値と構造要素を囲む局所領域内での平均値の差を計算するフィルタを利用する。ただし、このフィルタに限らず、例えばＳｏｂｅｌフィルタのような差分フィルタを利用してもよい。また、濃度値画像の画素ごとにヘッセ行列の固有値を計算し、結果として得られる２つの固有値の組み合わせから線分状の領域（即ち血管）を抽出してもよい。さらには、単純に線分を構造要素とするトップハット演算を行ってもよい。

本実施形態において重要部位とする視神経乳頭部は、血管が集まっており、且つ、周辺部に比べてその画像の輝度が高い。したがって、重要部位の位置抽出部１０３は、視神経乳頭部の抽出に際しては、このような画像特徴に注目して抽出を行う。

また、本実施形態において重要部位とする黄斑部は眼底部のほぼ中央にあり、本実施形態において重要部位とする視神経乳頭部は黄斑部よりも顔の中央寄り、即ち鼻寄りの位置にあり、視神経乳頭部に集まった血管は、黄斑部を取り囲むように走っている。したがって、重要部位の位置抽出部１０３は、黄斑部及び視神経乳頭部の抽出に際しては、このような解剖学的特徴に注目して抽出を行う。

本実施形態では、重要部位の位置抽出部１０３は、視神経乳頭部及び黄斑部の位置を抽出し、その位置情報を第２の撮影領域算出部１０８に出力する。また、図７及び図８の画像中においては、第１の断層画像には黄斑部８０２が含まれているが視神経乳頭部８０１は含まれておらず、−ｘ方向に視神経乳頭部８０１がある。このように、重要部位が第１の断層画像中に含まれているかどうか、また、含まれていない重要部位が、相対的に断層画像を撮影した部分からどちらの方向に含まれているかといった情報も、重要部位の位置抽出部１０３から第２の撮影領域算出部１０８に出力する。

＜ステップＳ１０５＞
続いて、ステップＳ１０５において、撮影サイズ取得部１０５は、断層画像撮影部１３０から、断層画像（第２の断層画像）を撮影可能な領域のサイズ情報を取得し、これを第３の撮影領域算出部１０７及び第２の撮影領域算出部１０８に出力する。

ここで、断層画像撮影部１３０の撮影可能領域は、図６のｘ、ｙのそれぞれの方向のサイズとして表すことが可能である。本実施形態では、第１の断層画像における撮影領域よりも、断層画像撮影部１３０の撮影可能領域の方が大きいことを前提としている。なお、ｚ方向、つまり、網膜の厚み方向の位置及びサイズに関しては、現状の断層画像撮影部で、一般に十分な厚みの計測が可能である。そのため、従来の断層画像撮影部で一般的に行われているコヒーレンスゲートの自動調節により、網膜の深さ方向の位置を調整することによって、全網膜層を撮影可能である。この際、コヒーレンスゲートの調整は、手動で行ってもよい。

＜ステップＳ１０６＞
続いて、ステップＳ１０６において、第３の撮影領域算出部１０７は、第１の撮影領域算出部１０４からの第１の撮影領域の位置情報、撮影サイズ取得部１０５からの撮影可能サイズ情報及び撮影誤差取得部１０６からの撮影誤差情報に基づいて、第１の撮影領域における周囲の領域である第３の撮影領域の位置を算出する。ここで、第３の撮影領域は、第１の撮影領域の周囲に、撮影誤差と同じか、それよりも大きな幅の領域を有するように算出される。そして、第３の撮影領域算出部１０７は、撮影誤差を考慮した第３の撮影領域の位置情報を第２の撮影領域算出部１０８に出力する。

ここで、ステップＳ１０６の処理の具体例を説明する。
例えば、第１の撮影領域の位置を（ｘ１、ｙ１）、第１の撮影領域のサイズを（ｘ１ｗ、ｙ１ｗ）とする。
断層画像撮影部１３０において指定した位置から撮影誤差が（ｘｄ、ｙｄ）であるとし、当該撮影誤差を考慮した第３の撮影領域８０４の位置を（ｘｒ、ｙｒ）、そのサイズを（ｘｒｗ、ｙｒｗ）とする。すると、第３の撮影領域８０４の位置（ｘｒ、ｙｒ）、及び、そのサイズ（ｘｒｗ、ｙｒｗ）は、以下の（１）式、（２）式、（３）式、及び、（４）式により計算することができる。
ｘｒ＝ｘ１−ｘｄ ・・・ （１）
ｙｒ＝ｙ１−ｙｄ ・・・ （２）
ｘｒｗ＝ｘ１ｗ＋ｘｄ＊２ ・・・ （３）
ｙｒｗ＝ｙ１ｗ＋ｙｄ＊２ ・・・ （４）

つまり、第１の撮影領域の周囲には、ｘ方向にｘｄ、ｙ方向にｙｄの誤差を吸収するための撮影領域（第３の撮影領域）が確保される。仮に、撮影誤差を考慮した第３の撮影領域８０４を断層画像撮影部１３０に撮影領域として撮影指示すれば、撮影時の誤差があっても過去画像と同じ領域が含まれる断層画像を取得することが可能である。なお、もし断層画像撮影部１３０における位置ずれによる撮影誤差が、画像診断上無視できる場合には、第３の撮影領域算出部１０７は、第１の撮影領域算出部１０４から入力された位置情報をそのまま第２の撮影領域算出部１０８に出力する。

＜ステップＳ１０７＞
続いて、ステップＳ１０７において、第２の撮影領域算出部１０８は、まず、第３の撮影領域算出部１０７から必ず含むべき第３の撮影領域の位置情報を取得する。同様に、第２の撮影領域算出部１０８は、撮影サイズ取得部１０５から撮影可能なサイズ情報（最大撮影サイズ情報）を取得し、重要部位の位置抽出部１０３から実際の撮影領域に加えたい重要部位の位置情報を取得する。そして、第２の撮影領域算出部１０８は、これらの取得した情報を用いて、断層画像撮影部１３０において実際に撮影を行う第２の撮影領域の位置を算出し、この情報を撮影指示部１０９に出力する。

ここで、ステップＳ１０７の処理の具体例を説明する。
第２の撮影領域算出部１０８は、第３の撮影領域算出部１０７からの第３の撮影領域（図８の８０４）を第１の断層画像に含まれていない重要部位の方向に領域を拡大して、第２の撮影領域の位置を算出する。例えば、撮影サイズ取得部１０５で取得した断層画像撮影部１３０で撮影可能なサイズを（ｘ２ｗ、ｙ２ｗ）とすると、撮影拡大可能なｘ方向、ｙ方向の大きさ（ｘｅ、ｙｅ）は、以下の（５）式及び（６）式により計算することができる。
ｘｅ＝ｘ２ｗ−ｘｒｗ ・・・ （５）
ｙｅ＝ｙ２ｗ−ｙｒｗ ・・・ （６）

本実施形態における第１の断層画像の例では、重要部位のうち、黄斑部が含まれる一方で視神経乳頭部は含まれていないため、ここでは、−ｘ方向に視神経乳頭部があることが検出されている。そのため、第２の撮影領域算出部１０８は、第３の撮影領域に対して、ｙ方向に関しては正負均等に撮影領域を拡張し、また、ｘ方向に関しては負の方向に撮影領域を拡張して、第２の撮影領域の位置を算出する。具体的に、第２の撮影領域を（ｘ２、ｙ２）とすると、以下の（７）式及び（８）式により計算することができる。
ｘ２＝ｘｒ−ｘｅ ・・・ （７）
ｙ２＝ｙｒ−（ｙｅ／２） ・・・ （８）

ここで、図８に示す眼底画像中では、第２の撮影領域８０５の部分に対応する撮影領域の位置が算出されることになる。

＜ステップＳ１０８＞
続いて、ステップＳ１０８において、撮影指示部１０９は、断層画像撮影部１３０及び眼底画像撮影部１２０を制御して、第２の撮影領域算出部１０８で算出された第２の撮影領域に対応する眼部の領域の画像の撮影を行う。このステップＳ１０８の処理により、断層画像撮影部１３０で撮影された断層画像は、第２の断層画像を構成する。

なお、本実施形態において、断層画像撮影部１３０は、眼底画像撮影部１２０と連動しており、例えば特許文献１に示されている方法により、眼底画像中の特定の位置の断層画像を撮影することができるように構成されている。また、断層画像撮影部１３０は、眼底画像中における任意の位置の断層画像が撮影可能であれば、どのような方式によって、断層画像の撮影位置決めを行ってもよい。

次に、図３のステップＳ１０３における第１の撮影領域の位置算出処理の詳細な処理について説明する。

図４は、図３のステップＳ１０３における第１の撮影領域の位置算出処理の詳細な処理手順の一例を示すフローチャートである。以下、図２に示す第１の撮影領域算出部１０４の各構成部の説明とともに、図４のフローチャートの説明を行う。

＜ステップＳ２０１＞
積算画像作成部１０４１は、画像記憶部１０２に記憶されている眼底画像と断層画像（第１の断層画像）との位置合わせを行うために、各断面画像（例えばＢ−ｓｃａｎ画像）を深度方向に積算した積算画像を作成する処理を行う。そして、積算画像作成部１０４１は、作成した積算画像を断層画像特徴抽出部１０４２に出力する。

図６には、上述したように、眼部の網膜における黄斑部の断面画像Ｔ₁〜Ｔ_nが示されており、図７には、上述したように、図６の断面画像Ｔ₁〜Ｔ_nから作成した積算画像が示されている。ここで、深度方向とは、図６のｚ方向であり、また、深度方向に積算する処理とは、図６のｚ方向の各深度位置における光強度（輝度値）を足し合わせる処理である。なお、事前に網膜層全体の検出が可能な場合には、ステップＳ２０１において、網膜層内の任意の層のみ加算し、より明瞭な積算画像を生成してもよい。

ここで、図７の積算画像内の曲線は血管を示しており、また、画像中心の円形は黄斑部を示している。眼底の断層画像において、血管がある場所は、血管より深部の位置における光の反射光強度は弱くなりやすく、ｚ方向に積算した値は、血管がない場所に比べて小さくなることが知られている。そのため、積算画像を作成することで、血管とそれ以外とでコントラストのある画像を得ることができる。

＜ステップＳ２０２＞
続いて、ステップＳ２０２において、断層画像特徴抽出部１０４２及び眼底画像特徴抽出部１０４３は、それぞれ、第１の断層画像及び眼底画像の特徴を抽出する処理を行う。

断層画像特徴抽出部１０４２は、積算画像作成部１０４１で作成された、第１の断層画像の積算画像に対して特徴抽出を行い、この情報を位置合わせ部１０４４に出力する。

具体的に、断層画像特徴抽出部１０４２は、特徴抽出として血管抽出を行う。この際、血管は細い線状構造を有しているため、断層画像特徴抽出部１０４２は、線状構造を強調するフィルタを用いて血管を抽出する。ここで、線状構造を強調するフィルタとしては、例えば、線分を構造要素としたときに構造要素内での画像濃度値の平均値と構造要素を囲む局所領域内での平均値の差を計算するフィルタを利用する。ただし、このフィルタに限らず、例えばＳｏｂｅｌフィルタのような差分フィルタを利用してもよい。また、濃度値画像の画素ごとにヘッセ行列の固有値を計算し、結果として得られる２つの固有値の組み合わせから線分状の領域（即ち血管）を抽出してもよい。さらには、単純に線分を構造要素とするトップハット演算でもよい。

一方、眼底画像特徴抽出部１０４３は、画像記憶部１０２から入力した眼底画像に対して特徴抽出を行い、この情報を位置合わせ部１０４４に出力する。

具体的に、眼底画像特徴抽出部１０４３は、断層画像特徴抽出部１０４２と同様に、特徴抽出として血管抽出を行う。
この際、血管は細い線状構造を有しているため、眼底画像特徴抽出部１０４３は、線状構造を強調するフィルタを用いて血管を抽出する。ここで、線状構造を強調するフィルタとしては、例えば、線分を構造要素としたときに構造要素内での画像濃度値の平均値と構造要素を囲む局所領域内での平均値の差を計算するフィルタを利用する。ただし、このフィルタに限らず、例えばＳｏｂｅｌフィルタのような差分フィルタを利用してもよい。また、濃度値画像の画素ごとにヘッセ行列の固有値を計算し、結果として得られる２つの固有値の組み合わせから線分状の領域（即ち血管）を抽出してもよい。さらには、単純に線分を構造要素とするトップハット演算でもよい。

＜ステップＳ２０３＞
続いて、ステップＳ２０３において、位置合わせ部１０４４は、断層画像特徴抽出部１０４２で抽出された断層画像の特徴と、眼底画像特徴抽出部１０４３で抽出された眼底画像の特徴とに基づいて、位置合わせの処理を行う。これにより、第１の撮影領域の位置が定まることになる。

この位置合わせ部１０４４による位置合わせ処理の結果は、眼底画像を基準画像とした、積算画像のスケール（Ｓ_x、Ｓ_y）、位置座標（ｘ、ｙ）、回転（ｒｏｔ）のパラメータからなる第１の撮影領域の位置情報として第３の撮影領域算出部１０７に出力される。

位置合わせ部１０４４では、画像同士の位置を合わせるため、本実施形態では、解剖学的に特徴的な領域として血管を用いている。具体的に、位置合わせ部１０４４は、積算画像と眼底画像からそれぞれ抽出された血管を用いて、画像間の位置合わせを行う。この位置合わせを行う際には、２つの画像間の類似度を表す評価値を事前に定義し、この評価値が最も良くなるように画像の変形を行う。評価値としては、前段の処理で得られた積算画像の血管領域と眼底画像の血管領域のと重なりの程度を表す値や、血管の分岐部など特徴的な幾何形状を有する領域に注目した時の対応ランドマーク間の距離などが利用できる。また、本実施形態では、解剖学的に特徴的な領域として血管を利用したが、視神経乳頭領域のようなその他の解剖学的特徴や、疾患により生じた白斑や出血領域を利用しても良い。さらに、血管などの解剖学的特徴にのみ注目するのではなく、画像全体から計算される評価値、例えば輝度値の平均２乗誤差、相関係数、相互情報量なども利用可能である。

次に、図１の画像撮影制御部１１０に適用可能なハードウェア構成について説明する。
図５は、図１の画像撮影制御部１１０に適用可能なハードウェア構成の一例を示す模式図である。

画像撮影制御部１１０は、例えば、図５に示すように、ＣＰＵ５０１、ＲＡＭ５０２、ＲＯＭ５０３、外部記憶装置５０４、モニタ５０５、キーボード５０６、マウス５０７、インターフェイス５０８、及び、バス５０９のハードウェア構成を有して構成される。

ここで、図１の断層画像取得部１０１、撮影サイズ取得部１０５、撮影誤差取得部１０６、撮影指示部１０９及び画像情報出力部１１１は、例えば、図５のＣＰＵ５０１及び外部記憶装置５０４のプログラム並びにインターフェイス５０８から構成される。また、図１の画像記憶部１０２は、例えば、図５のＲＡＭ５０２、ＲＯＭ５０３或いは外部記憶装置５０４から構成される。また、図１の重要部位の位置抽出部１０３、第１の撮影領域算出部１０４、第３の撮影領域算出部１０７及び第２の撮影領域算出部１０８は、例えば、図５のＣＰＵ５０１及び外部記憶装置５０４のプログラムから構成される。また、図１の画像表示部１１２は、例えば、図５のモニタ５０５から構成される。

ＣＰＵ５０１は、例えばＲＯＭ５０３或いは外部記憶装置５０４に格納されたプログラムやデータを用いて、画像撮影制御部１１０全体の制御を行う。

ＲＡＭ５０２は、ＲＯＭ５０３或いは外部記憶装置５０４からロードされたプログラムやデータを一時的に記憶するエリアを備えるとともに、ＣＰＵ５０１が各種の処理を行うために必要とするワークエリアを備える。

ＲＯＭ５０３は、一般にコンピュータのＢＩＯＳや設定データなどを格納している。外部記憶装置５０４は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにオペレーティングシステム（ＯＳ）やＣＰＵ５０１が実行するプログラム等が保存されている。また、本実施形態の説明において既知としている情報は、外部記憶装置５０４に保存されており、必要に応じてＲＡＭ５０２にロードされる。

モニタ５０５は、液晶ディスプレイなどにより構成されており、ＣＰＵ５０１の制御に基づいて、各種の情報や画像を表示する。

キーボード５０６及びマウス５０７は、入力デバイスであり、操作者は、これらを用いて、各種の指示を画像撮影制御部１１０に与えることができる。

インターフェイス５０８は、画像撮影制御部１１０と外部の機器（例えば、眼底画像撮影部１２０及び断層画像撮影部１３０や、ＬＡＮ２００を介した画像データベース３００）との間で各種の情報やデータの送受信を行うためのものである。例えば、インターフェイス５０８は、ＩＥＥＥ１３９４やＵＳＢ、イーサネットポート（登録商標）等によって構成される。また、インターフェイス５０８を介して取得された各種の情報やデータは、外部記憶装置５０４に記憶され、必要に応じて、ＲＡＭ５０２にロードされる。また、バス５０９は、上述した各構成部（５０１〜５０８）を相互に通信可能に接続する。

本実施形態の眼部画像撮影装置１００によれば、過去画像が存在し、より広い領域の撮影が可能な場合に、過去画像との比較による経過観察が可能であり、且つ、診断に有効な撮影領域の設定が可能である。診断に有効な撮影領域の設定の際に、撮影時の位置ずれ誤差を考慮しているため、過去画像における撮影領域を確実に撮影することができる。

（本発明の他の実施形態）
前述した本発明の実施形態に係る眼部画像撮影装置１００を構成する図１の各手段は、コンピュータのＣＰＵ５０１が外部記憶装置５０４に記憶されているプログラムを実行することによって実現できる。同様に、眼部画像撮影装置１００の制御方法を示す図３及び図４の各ステップは、コンピュータのＣＰＵ５０１が外部記憶装置５０４に記憶されているプログラムを実行することによって実現できる。このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３及び図４に示すフローチャートに対応したプログラム）を、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０：眼部画像撮影システム（画像処理システム）、１００：眼部画像撮影装置（画像処理装置）、１０１：断層画像取得部、１０２：画像記憶部、１０３：重要部位の位置抽出部、１０４：第１の撮影領域算出部、１０５：撮影サイズ取得部、１０６：撮影誤差取得部、１０７：第３の撮影領域算出部、１０８：第２の撮影領域算出部、１０９：撮影指示部、１１０：画像撮影制御部、１１１：画像情報出力部、１１２：画像表示部、１２０：眼底画像撮影部、１３０：断層画像撮影部、２００：ＬＡＮ、３００：画像データベース

Claims (13)

1. 過去に撮影された被写体の第１の断層画像を取得する断層画像取得手段と、
   前記第１の断層画像の撮影領域である第１の撮影領域を含む前記被写体の広範な撮影領域に係る広範画像を画像記憶部に記憶する記憶手段と、
   前記第１の断層画像と前記広範画像を用いて、前記第１の撮影領域を算出する第１の撮影領域算出手段と、
   前記広範画像の中から、前記被写体の重要部位の位置を抽出する重要部位の位置抽出手段と、
   前記被写体の第２の撮影領域における断層画像を撮影する断層画像撮影手段と、
   前記断層画像撮影手段で撮影可能な最大撮影サイズの情報を取得する撮影サイズ取得手段と、
   前記第１の撮影領域の情報、前記重要部位の位置の情報、及び、前記最大撮影サイズの情報に基づいて、前記第２の撮影領域を算出する第２の撮影領域算出手段と
   を有することを特徴とする画像処理装置。
2. 前記被写体は、眼部であり、
   前記重要部位の位置抽出手段は、前記重要部位として、少なくとも、前記眼部の黄斑部または視神経乳頭部における位置を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の撮影領域算出手段は、前記第１の撮影領域を含むとともに、前記第１の撮影領域に含まれていない前記重要部位の方向に撮影領域を拡大した撮影領域を前記第２の撮影領域として算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記断層画像撮影手段の撮影誤差を取得する撮影誤差取得手段と、
   前記第１の撮影領域を含むとともに、前記第１の撮影領域の周囲に前記撮影誤差に基づく領域を設けた第３の撮影領域を算出する第３の撮影領域算出手段と
   を更に有し、
   前記第２の撮影領域算出手段は、前記第３の撮影領域の情報、前記重要部位の位置の情報、及び、前記最大撮影サイズの情報を用いて、前記第２の撮影領域を算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 過去に撮影された被写体の第１の断層画像を取得する断層画像取得手段と、
   前記第１の断層画像の撮影領域である第１の撮影領域を含む前記被写体の広範な撮影領域に係る広範画像を画像記憶部に記憶する記憶手段と、
   前記第１の断層画像と前記広範画像を用いて、前記第１の撮影領域を算出する第１の撮影領域算出手段と、
   前記広範画像の中から、前記被写体の重要部位の位置を抽出する重要部位の位置抽出手段と、
   前記被写体の第２の撮影領域における断層画像を撮影する断層画像撮影手段と、
   前記第１の撮影領域を含み且つ前記重要部位を含む領域を、前記第２の撮影領域として算出する第２の撮影領域算出手段と
   を有することを特徴とする画像処理装置。
6. 前記断層画像撮影手段で撮影可能な最大撮影サイズの情報を取得する撮影サイズ取得手段を更に有し、
   前記第２の撮影領域算出手段は、前記第１の撮影領域の情報、前記重要部位の位置の情報、及び、前記最大撮影サイズの情報に基づいて、前記第２の撮影領域を算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記第２の撮影領域算出手段は、前記第１の撮影領域を含むとともに、前記第１の撮影領域に含まれていない前記重要部位の方向に撮影領域を拡大した撮影領域を前記第２の撮影領域として算出することを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記断層画像撮影手段の撮影誤差を取得する撮影誤差取得手段と、
   前記第１の撮影領域を含むとともに、前記第１の撮影領域の周囲に前記撮影誤差に基づく領域を設けた第３の撮影領域を算出する第３の撮影領域算出手段と
   を更に有し、
   前記第２の撮影領域算出手段は、前記第３の撮影領域の情報、前記重要部位の位置の情報、及び、前記最大撮影サイズの情報を用いて、前記第２の撮影領域を算出することを特徴とする請求項６に記載の画像処理装置。
9. 画像の処理を行う画像処理装置の制御方法であって、
   過去に撮影された被写体の第１の断層画像を取得する断層画像取得ステップと、
   前記第１の断層画像の撮影領域である第１の撮影領域を含む前記被写体の広範な撮影領域に係る広範画像を画像記憶部に記憶する記憶ステップと、
   前記第１の断層画像と前記広範画像を用いて、前記第１の撮影領域を算出する第１の撮影領域算出ステップと、
   前記広範画像の中から、前記被写体の重要部位の位置を抽出する重要部位の位置抽出ステップと、
   前記被写体の第２の撮影領域における断層画像を撮影する断層画像撮影手段から、当該断層画像撮影手段で撮影可能な最大撮影サイズの情報を取得する撮影サイズ取得ステップと、
   前記第１の撮影領域の情報、前記重要部位の位置の情報、及び、前記最大撮影サイズの情報に基づいて、前記第２の撮影領域を算出する第２の撮影領域算出ステップと
   を有することを特徴とする画像処理装置の制御方法。
10. 画像の処理を行う画像処理装置の制御方法であって、
    過去に撮影された被写体の第１の断層画像を取得する断層画像取得ステップと、
    前記第１の断層画像の撮影領域である第１の撮影領域を含む前記被写体の広範な撮影領域に係る広範画像を画像記憶部に記憶する記憶ステップと、
    前記第１の断層画像と前記広範画像を用いて、前記第１の撮影領域を算出する第１の撮影領域算出ステップと、
    前記広範画像の中から、前記被写体の重要部位の位置を抽出する重要部位の位置抽出ステップと、
    前記第１の撮影領域を含み且つ前記重要部位を含む領域を、断層画像撮影手段において断層画像を撮影する前記被写体の第２の撮影領域として算出する第２の撮影領域算出ステップと
    を有することを特徴とする画像処理装置の制御方法。
11. 請求項１乃至８のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。
12. 請求項９又は１０に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。
13. 請求項１１又は１２に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images