JP2020058615A - 画像処理装置、学習済モデル、画像処理方法およびプログラム - Google Patents

Abstract

【課題】検者による眼の診断を補助する際に、従来よりも適した情報を提供する。【解決手段】画像処理装置が、被検眼の複数種類の解析値を含む断層に関するデータであって、第一の時間に関連付いた被検眼の第一の断層に関するデータと、第一の時間より後の第二の時間に関連付いた被検眼の第二の断層に関するデータと、を取得する取得手段と、学習済モデルを用いて、取得された第一の断層に関するデータと取得された第二の断層に関するデータとから、第二の時間より後の第三の時間における被検眼の複数種類の解析値の少なくとも一つを生成する生成手段と、を備える。【選択図】図７

Description

本発明は、画像処理装置、学習済モデル、画像処理方法およびプログラムに関する。

光干渉断層計（ＯＣＴ；Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を用いた装置（ＯＣＴ装置）等の眼部の断層画像撮影装置は、網膜層内部の状態を三次元的に観察することが可能である。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから近年注目を集めている。

ＯＣＴの形態として、例えば、広帯域な光源とマイケルソン干渉計を組み合わせたＴＤ−ＯＣＴ（Ｔｉｍｅ ｄｏｍａｉｎ ＯＣＴ）がある。これは、参照アームの遅延を走査することで、信号アームの後方散乱光との干渉光を計測し、深さ方向の情報を得るように構成されている。しかし、このようなＴＤ−ＯＣＴでは高速な画像取得は難しい。

これに対し、より高速に画像を取得する方法として、広帯域光源を用い、分光器でインターフェログラムを取得する手法によるＳＤ−ＯＣＴ（Ｓｐｅｃｔｒａｌ ｄｏｍａｉｎ ＯＣＴ）が知られている。また、光源として、高速波長掃引光源を用い、単一チャネル光検出器でスペクトル干渉を計測する手法によるＳＳ−ＯＣＴ（Ｓｗｅｐｔ Ｓｏｕｒｃｅ ＯＣＴ）が知られている。

ＯＣＴで撮影された断層画像を用い、神経線維層の厚みを計測することで、緑内障等の疾病の進行度や治療後の回復具合を定量的に診断することができる。眼底の断層画像より得られた膜厚等の解析値の時系列グラフを作成する眼科解析装置が、特許文献１に開示されている。この眼科解析装置では、時系列グラフから得た回帰直線から将来的な解析値を予測している。

特開２０１７−１７０１９３号公報

しかしながら、眼に生じる病変や異常の態様によっては、眼には単一の特徴ではなく複合的な特徴が表れることがあり、特定の解析値からの予測では十分な診断補助を果たし得ない可能性がある。

本発明の目的の一つは、上記課題に鑑みてなされたものであり、検者による眼の診断を補助する際に、従来よりも適した情報を提供する。

上記の目的を達成するための、本発明の一態様による画像処理装置は、
被検眼の複数種類の解析値を含む断層に関するデータであって、第一の時間に関連付いた前記被検眼の第一の断層に関するデータと、前記第一の時間より後の第二の時間に関連付いた前記被検眼の第二の断層に関するデータと、を取得する取得手段と、
学習済モデルを用いて、前記取得された第一の断層に関するデータと前記取得された第二の断層に関するデータとから、前記第二の時間より後の第三の時間における前記被検眼の複数種類の解析値の少なくとも一つを生成する生成手段と、を備えることを特徴とする。

本発明の一つによれば、検者による眼の診断を補助する際に、従来よりも適した情報を提供することができる。

実施例１に係る画像処理システムの概略的な構成の一例を示す。 眼部の構造と断層画像と眼底画像を説明するための図である。 実施例１に係る一連の処理を示すフローチャートである。 学習データの例を説明するための図である。 機械学習モデルの例を説明するための図である。 機械学習モデルの例を説明するための図である。 実施例１に係る処理結果の表示画面を説明するための図である。 実施例２に係る画像処理システムの概略的な構成の一例を示す。 実施例３に係る画像処理システムの概略的な構成の一例を示す。 実施例３に係る処理結果の表示画面を説明するための図である。

以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、および構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。

（実施例１）
以下、図１乃至７を参照して、本発明の実施例１に係る、被検眼の診断補助となる情報を提示する画像処理システムについて説明する。本実施例では、機械学習モデルに関する学習済モデルを用いて、対象となる被検眼の将来的な解析値を生成する。具体的には、被検眼の断層画像から得られた複数種類の解析値を用いた学習により得た学習済モデルを用いて、将来の解析値を予測し、その結果を提示する。

ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングすることで得られた（学習を行った）モデルである。ただし、学習済モデルは事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできる。

図１は、本実施に係る画像処理装置３００を備える画像処理システム１の概略的な構成の一例を示す。図１に示すように、画像処理システム１には、断層画像撮影装置の一例としてのＯＣＴ装置（以下ＯＣＴ装置２００）、画像処理装置３００、眼底画像撮影装置４００、外部記憶装置５００、表示部６００、および入力部７００が設けられている。

ＯＣＴ装置２００は、被検眼の断層画像を撮影する装置として用いられる。ＯＣＴ装置としては、任意の種類のものを用いることができ、例えばＳＤ−ＯＣＴやＳＳ−ＯＣＴを用いることができる。

画像処理装置３００は、インタフェースを介してＯＣＴ装置２００、眼底画像撮影装置４００、外部記憶装置５００、表示部６００、および入力部７００と接続されており、これらを制御することができる。画像処理装置３００は、ＯＣＴ装置２００、眼底画像撮影装置４００、および外部記憶装置５００から取得する各種信号に基づいて、被検眼の断層画像やＥｎ−Ｆａｃｅ画像（正面画像）等の各種画像を生成することができる。また、画像処理装置３００は、これら画像について画像処理を施すことができる。なお、画像処理装置３００は、汎用のコンピュータによって構成されてもよいし、画像処理システム１専用のコンピュータによって構成されてもよい。

眼底画像撮影装置４００は、被検眼の眼底画像を撮影するための装置であり、当該装置としては、例えば、眼底カメラやＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｏｔｈａｌｍｏｓｃｏｐｅ）等を用いることができる。なお、ＯＣＴ装置２００と眼底画像撮影装置４００の装置構成は、一体型でもよいし別体型でもよい。

外部記憶装置５００は、被検眼に関する情報（患者の氏名、年齢、性別等）と、撮影した各種画像データ、撮影パラメータ、画像解析パラメータ、およびユーザによって設定されたパラメータをそれぞれ関連付けて保持している。外部記憶装置５００は、任意の記憶装置によって構成されてよく、例えば、光学ディスクやメモリ等の記憶媒体によって構成されてよい。

表示部６００は、任意のディスプレイによって構成され、画像処理装置３００による制御に従い、被検眼に関する情報や各種画像を表示することができる。

入力部７００は、例えば、マウス、キーボード、又はタッチ操作画面などで構成される。ユーザは、入力部７００を介して、画像処理装置３００やＯＣＴ装置２００、眼底画像撮影装置４００への指示を画像処理装置３００に入力することができる。なお、入力部７００をタッチ操作画面とする場合には、入力部７００を表示部６００と一体として構成することができる。

なお、これら構成要素は、図１では別体として示されているが、これら構成要素の一部又は全部を一体として構成してもよい。

次にＯＣＴ装置２００について説明する。ＯＣＴ装置２００には、ガルバノミラー２０１、駆動制御部２０２、フォーカスレンズステージ２０３、内部固視灯２０４、コヒーレンスゲートステージ２０５、光源２０６、およびディテクタ２０７が設けられている。なお、ＯＣＴ装置２００は既知の装置であるため詳細な説明は省略し、ここでは、画像処理装置３００からの指示により行われる断層画像の撮影について説明を行う。

画像処理装置３００から撮影の指示が伝えられると、光源２０６が光を出射する。光源２０６からの光は不図示の分割部を用いて測定光と参照光に分割される。ＯＣＴ装置２００では、測定光を被検眼に照射し、被検体からの戻り光と、参照光との干渉光を検出することで、被検眼の断層情報を含む干渉信号を生成することができる。

ガルバノミラー２０１は、測定光を被検眼の眼底において走査するために用いられ、ガルバノミラー２０１による測定光の走査範囲により、断層画像撮影時の眼底の撮影範囲を規定することができる。画像処理装置３００は、ガルバノミラー２０１の駆動範囲および速度を制御することで、眼底における平面方向の撮影範囲および走査線数（平面方向の走査速度）を規定することができる。図１では、説明を簡略化するため、ガルバノミラー２０１を１つのユニットとして示したが、ガルバノミラー２０１は、実際にはＸスキャン用のミラーとＹスキャン用の２枚のミラーで構成され、眼底上における所望の範囲を測定光で走査できる。なお、測定光を走査するための走査部の構成はガルバノミラーに限られず、他の任意の偏向ミラーを用いることができる。また、走査部として、例えば、ＭＥＭＳミラー等の１枚で二次元方向に測定光を走査することができる偏向ミラーを用いてもよい。

フォーカスレンズステージ２０３には不図示のフォーカスレンズが設けられている。フォーカスレンズステージ２０３を移動させることで、フォーカスレンズを測定光の光軸に沿って移動させることができる。このため、フォーカスレンズによって、被検眼の前眼部を介し、眼底の網膜層に測定光をフォーカスすることができる。眼底を照射した測定光は各網膜層で反射・散乱して戻り光として、光路を戻る。

コヒーレンスゲートステージ２０５は、被検眼の眼軸長の相違等に対応するため、参照光又は測定光の光路の長さを調整するために用いられる。本実施例では、コヒーレンスゲートステージ２０５は、ミラーが設けられたステージによって構成され、参照光の光路において光軸方向に移動することで参照光の光路長を測定光の光路長に対応させることができる。ここで、コヒーレンスゲートは、ＯＣＴにおける測定光と参照光の光学距離が等しい位置を表す。コヒーレンスゲートステージ２０５は、画像処理装置３００により制御されることができる。画像処理装置３００は、コヒーレンスゲートステージ２０５によりコヒーレンスゲートの位置を制御することによって、被検眼の深さ方向の撮影範囲を制御することができ、網膜層側の撮影、又は網膜層より深部側の撮影等を制御することができる。

ディテクタ２０７は、不図示の干渉部において生じた、被検眼からの測定光の戻り光と参照光との干渉光を検出し、干渉信号を生成する。画像処理装置３００は、ディテクタ２０７からの干渉信号を取得し、干渉信号に対してフーリエ変換等を行うことで被検眼の断層画像を生成することができる。

内部固視灯２０４には、表示部２４１、およびレンズ２４２が設けられている。本実施例では、表示部２４１の一例として複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、画像処理装置３００の制御により撮影したい部位に応じて変更される。表示部２４１からの光は、レンズ２４２を介し、被検眼に導かれる。表示部２４１から出射される光は、例えば５２０ｎｍの波長を有し、画像処理装置３００による制御により所望のパターンで表示される。

駆動制御部２０２は、上述したガルバノミラー２０１、フォーカスレンズステージ２０３、内部固視灯２０４、コヒーレンスゲートステージ２０５、光源２０６、およびディテクタ２０７と接続される。駆動制御部２０２は、後述する指示部３０４を介した画像処理装置３００による制御に基づいて、これら各構成要素の駆動を制御する。なお、この駆動制御部２０２を設けず、画像処理装置３００が指示部３０４を用いて直接これら構成要素の駆動を制御することとしてもよい。

次に、図２（ａ）乃至（ｃ）を参照して、画像処理システム１で取得する眼の構造と画像について説明する。図２（ａ）は眼球の模式図である。図２（ａ）には、角膜Ｃ、水晶体ＣＬ、硝子体Ｖ、黄斑部Ｍ（黄斑の中心部は中心窩を表す）、および視神経乳頭部Ｄが表されている。本実施例では、主に、硝子体Ｖ、黄斑部Ｍ、視神経乳頭部Ｄを含む網膜の後極部を撮影する場合について説明を行う。なお、以下では説明をしないが、ＯＣＴ装置２００は、角膜や水晶体等の前眼部を撮影することも可能である。

図２（ｂ）は、ＯＣＴ装置２００を用いて網膜を撮影することで取得した断層画像の一例を示す。図２（ｂ）において、ＡＳは一回のＡスキャンにより取得される画像単位を示す。ここで、Ａスキャンとは、ＯＣＴ装置２００の一連の動作により、被検眼の一点における深さ方向の断層情報を取得することをいう。また、Ａスキャンを任意の横断方向（主走査方向）において複数回行うことで被検眼の当該横断方向と深さ方向の二次元の断層情報を取得することをＢスキャンという。Ａスキャンによって取得されたＡスキャン画像を複数集めることで、１つのＢスキャン画像を構成することができる。以下、このＢスキャン画像のことを、断層画像と呼ぶ。

図２（ｂ）には、硝子体Ｖ、黄斑部Ｍ、視神経乳頭部Ｄ、および篩状板Ｌａが表されている。また、境界線Ｌ１は内境界膜（ＩＬＭ）と神経線維層（ＮＦＬ）との境界、境界線Ｌ２は神経線維層と神経節細胞層（ＧＣＬ）との境界、境界線Ｌ３は視細胞内節外節接合部（ＩＳＯＳ）を表す。さらに、境界線Ｌ４は網膜色素上皮層（ＲＰＥ）、境界線Ｌ５はブルッフ膜（ＢＭ）、境界線Ｌ６は脈絡膜を表す。断層画像において、横軸（ＯＣＴの主走査方向）をｘ軸とし、縦軸（深さ方向）をｚ軸とする。

図２（ｃ）は、眼底画像撮影装置４００を用いて被検眼の眼底を撮影することで取得した眼底画像の一例を示す。図２（ｃ）には、黄斑部Ｍ、視神経乳頭部Ｄが表されており、網膜の血管が太い曲線で表されている。眼底画像において、横軸（ＯＣＴ装置の主走査方向）をｘ軸とし、縦軸（ＯＣＴ装置の副走査方向）をｙ軸とする。

次に、画像処理装置３００について説明する。画像処理装置３００には、取得部３０１、記憶部３０２、処理部３０３、指示部３０４、および表示制御部３０５が設けられている。

取得部３０１は、ＯＣＴ装置２００から被検眼の干渉信号のデータを取得することができる。なお、取得部３０１が取得する干渉信号のデータは、アナログ信号でもデジタル信号でもよい。取得部３０１がアナログ信号を取得する場合には、画像処理装置３００でアナログ信号をデジタル信号に変換することができる。また、取得部３０１は断層画像生成部３１１を有し、該断層画像生成部３１１で生成された断層データや断層画像およびＥｎ−Ｆａｃｅ画像等の各種画像を取得することができる。ここで、断層データとは、被検体の断層に関する情報を含むデータであり、ＯＣＴによる干渉信号に基づくデータ、およびこれに高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）や任意の信号処理を行ったデータを含むものをいう。

断層画像生成部３１１は、取得部３０１で取得された干渉信号に対してフーリエ変換等の処理を施して断層データを生成し、断層データに基づいて断層画像を生成することができる。なお、断層画像の生成方法としては既知の任意の方法を採用してよく、詳細な説明は省略する。

さらに、取得部３０１は、画像処理すべき断層画像の撮影条件群（例えば、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式、画像の解像度や階調、画像の画素サイズ、画像フィルタ、および画像のデータ形式に関する情報など）を取得する。なお、撮影条件群については、例示したものに限られない。また、撮影条件群は、例示したもの全てを含む必要はなく、これらのうちの一部を含んでもよい。

また、取得部３０１は、眼底画像撮影装置４００で取得した眼底情報を含むデータ等を取得することができる。さらに、取得部３０１は、被検者識別番号等の被検眼を同定するための情報を入力部７００等から取得することができる。取得部３０１は、取得した各種データや画像を記憶部３０２に記憶させることができる。

次に、処理部３０３について説明する。処理部３０３には、画像処理部３３１、演算処理部３２２、撮影条件取得部３３３、および選択部３３４が設けられている。

画像処理部３３１は、取得部３０１で取得されたデータや記憶部３０２に記憶されたデータから、断層画像やＥｎ−Ｆａｃｅ画像等を生成し、生成又は取得した画像から、後述する被検眼に関する複数種類の解析値を算出する。なお、複数種類の解析値は、予め算出されて記憶部３０２あるいは外部記憶装置５００に記憶されていたものを取得してもよい。

演算処理部３３２は、ディープラーニング等の任意の機械学習モデルに対して学習データを与えて学習させることで作成された学習済モデルを含む。具体的な学習の内容に関しては後述する。演算処理部３３２は、この学習済モデルを用いて、例えば、第一の時間に被検眼を撮影することで得た断層データと、第一の時間の後の第二の時間に被検眼を撮影することで得た断層データとから、第二の時間より後の第三の時間で撮影される断層画像を生成する。生成された断層画像に対しては、画像処理部３３１において解析処理が行われ、該断層画像における複数種類の解析値が算出される。なお、この複数種類の解析値の算出は演算処理部３３２で行ってもよく、算出ではなく学習済モデルを用いて２つの断層データから直接的に生成することとしてもよい。

撮影条件取得部３３３は、画像処理対象となる断層画像を撮影した際の撮影条件を、記憶部３０２から取得する。なお、取得対象となる撮影条件は、断層画像撮影時に取得部３０１で取得された上述した撮影条件であってもよく、以前に撮影された断層画像と関連付けられて記憶部３０２等に記憶された撮影条件であってもよい。

選択部３３４は、撮影条件取得部３３３が取得した撮影条件、あるいは前述した条件に加え例えば前眼部、後眼部等の撮影部位に応じて、適当な学習済モデルを選択する。学習済モデルは撮影条件に応じて予め複数生成されて記憶部３０２に記憶されており、演算処理部３３２は撮影条件に応じて選択部３３４が選択した学習済モデルを用いて断層画像やその解析値の生成を行う。

指示部３０４は、ＯＣＴ装置２００や眼底画像撮影装置４００の各構成要素の駆動を制御することができる。記憶部３０２は、取得部３０１で取得された断層データ、および処理部３０３で生成・処理された断層画像等の各種画像やデータ等を記憶することができる。また、記憶部３０２は、プロセッサーによって実行されることで画像処理装置３００の各構成要素の機能を果たすためのプログラム等を記憶することもできる。

表示制御部３０５は、取得部３０１で取得された各種情報や処理部３０３で生成・処理された断層画像、およびユーザによって入力された情報等の表示部６００における表示を制御することができる。

画像処理装置３００の記憶部３０２以外の各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。記憶部３０２は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。

次に、図３を参照して本実施例に係る一連の処理について説明する。図３は、本実施例に係る一連の処理のフローチャートである。本実施例に係る一連の処理が開始される、処理はステップＳ３０１に移行する。

ステップＳ３０１では、取得部３０１が、被検眼を同定する情報の一例である被検者識別番号を、入力部７００等により画像処理装置３００の外部から取得する。取得部３０１は、被検者識別番号に基づいて、外部記憶装置５００が保持している当該被検眼に関する情報を取得して記憶部３０２に記憶する。

ステップＳ３０２では、駆動制御部２０２がＯＣＴ装置２００を制御して被検眼を測定光で走査することで撮影を行い、取得部３０１がＯＣＴ装置２００から被検眼の断層情報を含む干渉信号を取得する。測定光による走査は、ユーザによる走査開始の指示に応じて、指示部３０４がＯＣＴ装置２００を制御し、光源２０６やガルバノミラー２０１等を動作させることで行われる。

ガルバノミラー２０１は、水平方向用のＸスキャナと垂直方向用のＹスキャナを含む。駆動制御部２０２は、これらのスキャナの向きをそれぞれ変更すると、装置座標系における水平方向（Ｘ）および垂直方向（Ｙ）それぞれの方向に測定光を走査することができる。なお、駆動制御部２０２は、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向にも測定光を走査することができる。そのため、駆動制御部２０２は、眼底平面上の任意の方向に測定光を走査することができる。

駆動制御部２０２は、撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、駆動制御部２０２は、内部固視灯２０４で表示するパターンの位置、ガルバノミラー２０１によるスキャン範囲やスキャンパターン、コヒーレンスゲート位置、およびフォーカスレンズ位置を少なくとも設定する。

駆動制御部２０２は、表示部２４１の発光ダイオードを制御して、例えば被検眼の黄斑部中心や視神経乳頭に撮影を行うように内部固視灯２０４で表示するパターンの位置を制御する。また、駆動制御部２０２は、ガルバノミラー２０１による走査パターンとして、三次元ボリュームを撮影するラスタスキャンや放射状スキャン、クロススキャン等の走査パターンを設定する。なお、どの走査パターンを選択したとしても、一つのライン上で走査が複数回繰り返され、複数回の（繰り返し回数は２枚以上）撮影が行われる。本実施例においては、走査パターンはクロススキャンとし、同一箇所を１５０枚繰り返し撮影する。これら撮影パラメータの調整終了後、ユーザによる撮影開始の指示に応じて、指示部３０４がＯＣＴ装置２００を制御して被検眼の撮影を行う。

なお、本開示においては説明を省略するが、ＯＣＴ装置２００は、加算平均用に同じ箇所を撮影するために、被検眼のトラッキングを行うことができる。これにより、ＯＣＴ装置２００は、固視微動の影響を少なくして被検眼のスキャンを行うことができる。

ステップＳ３０３では、断層画像生成部３１１が、取得部３０１によって取得された干渉信号に基づいて断層画像の生成を行う。断層画像生成部３１１は、それぞれの干渉信号に対して一般的な再構成処理を行うことで、断層画像を生成することができる。

まず、断層画像生成部３１１は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は、取得した複数のＡスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。その後、断層画像生成部３１１は、有限区間でフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。断層画像生成部３１１は、窓関数処理を行った干渉信号に対して高速フーリエ変換（ＦＦＴ）処理を行うことによって断層データを生成する。

断層画像生成部３１１は、生成した断層データに基づいて断層画像の各画素値を求め、断層画像を生成する。なお、断層画像の生成方法はこれに限られず、既知の任意の方法で行われてよい。

本実施例では、断層画像生成部３１１は、干渉光の強度に基づく所謂強度画像と称される断層画像を生成している。しかし、断層画像生成部３１１が生成する画像は強度画像に限られず、例えばモーションコントラスト画像であってもよい。モーションコントラスト画像あるいはこれを生成する際に用いるモーションコントラストデータも、上述した断層データの一態様に含まれる。また、モーションコントラストデータからは、血管径、血管密度等の血管に関する情報も得られるが、これら情報については本実施例における後述する断層に関するデータに含まれる。

被検眼において極短時間に干渉光の強度等に揺らぎを生じさせる対象物として、血管内を流れる血球等が存在する。このような血球等の動きに基づくモーションコントラストデータを得ることにより、造影剤を用いることなく、血管の造影を行うことができる。被検眼の深さ情報に基づいて取得される三次元のモーションコントラストデータを深度方向に統合し、二次元平面上に投影することでＯＣＴＡ画像と称される正面血管画像が生成できる。

ここで、例えば断層画像生成部３１１でモーションコントラストデータを生成する場合に具体例について述べる。撮影時刻が互いに連続する略同一箇所を撮影して得た複数の断層画像であって、位置合わせが行われた複数の断層画像を取得する。なお、位置合わせは、種々の公知の方法を使用することができる。例えば、複数の断層画像のうちの１つを基準画像として選択し、基準画像の位置および角度を変更しながら、その他の断層画像との類似度が算出され、各断層画像の基準画像との位置ずれ量が算出される。算出結果に基づいて各断層画像を補正することで、複数の断層画像の位置合わせが行われる。なお、位置合わせの方法はこれに限られず、既知の任意の手法により行われてよい。

断層画像生成部３１１は、位置合わせが行われた複数の断層画像のうち撮影時刻が互いに連続する２枚の断層画像ずつについて、以下の数式１により脱相関値を算出する。

ここで、Ａ（ｘ，ｚ）は断層画像Ａの位置（ｘ，ｚ）における振幅、Ｂ（ｘ，ｚ）は断層画像Ｂの同一位置（ｘ，ｚ）における振幅を示している。結果として得られる脱相関値Ｍ（ｘ，ｚ）は０から１までの値を取り、二つの振幅値の差異が大きいほど１に近い値となる。なお、本実施例では、ＸＺ平面の二次元の断層画像を用いる場合について述べたが、例えばＹＺ平面等の二次元断層画像を用いてもよい。この場合には、位置（ｘ、ｚ）を位置（ｙ、ｚ）等に置き換えてよい。なお、脱相関値は、断層画像の輝度値に基づいて求められてもよいし、断層画像に対応する断層信号の値に基づいて求められてもよい。

断層画像生成部３１１は、各位置（画素位置）での脱相関値Ｍ（ｘ、ｚ）に基づいて、モーションコントラスト画像の画素値を決定し、モーションコントラスト画像を生成する。なお、本実施例では、断層画像生成部３１１は、撮影時刻が互いに連続する断層画像について脱相関値を算出したが、モーションコントラストデータの算出方法はこれに限定されない。脱相関値Ｍを求める２つの断層画像は、互いに対応する各断層画像に関する撮影時間が所定の時間間隔以内であればよく、撮影時間が連続していなくてもよい。そのため、例えば、時間的変化が少ない対象物の抽出を目的として、取得した複数の断層画像から撮影間隔が通常の規定時間より長くなるような２つの断層画像を抽出して脱相関値を算出してもよい。また、脱相関値に代えて、分散値や、最大値を最小値で割った値（最大値／最小値）等を求めてもよい。

なお、モーションコントラスト画像の生成方法は、上述の方法に限られず、公知の他の任意の方法を用いてもよい。上述したように、モーションコントラストデータは、例えば略同一箇所を繰り返して撮影することで得られた複数の断層画像間における複素ＯＣＴ信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得られる。この場合、略同一箇所とは、モーションコントラストデータを生成するのに許容できる程度に同一である位置をいい、厳密に同一である箇所から僅かにずれた箇所も含むものをいう。

ステップＳ３０４では、画像処理部３３１が網膜層の検出を行うと共に、網膜層の厚さ、体積、曲率、形状に例示される複数の解析値を求める。初めに、網膜層の検出について説明をする。画像処理部３３１は、ＯＣＴ装置２００が撮影した複数の断層画像において網膜層の境界を検出する。

ここで、網膜層を検出する処理の詳細について説明する。画像処理部３３１は、処理の対象とする断層画像に対して、ノイズ除去とエッジ強調処理を行う。ノイズ除去処理としては、例えばメディアンフィルタやガウシアンフィルタを適用する。エッジ強調処理としては、ＳｏｂｅｌフィルタやＨｅｓｓｉａｎフィルタを適用する。

二次元のＨｅｓｓｉａｎフィルタを用いた、二次元断層画像に対するエッジ強調処理について説明する。Ｈｅｓｓｉａｎフィルタは、ヘッセ行列の２つの固有値（λ_１、λ_２）の関係に基づいて、二次元濃淡分布の二次局所構造を強調することができる。ヘッセ行列の固有値と固有ベクトル（ｅ_１、ｅ_２）の関係を用いて、二次元の線構造を強調する。被検眼についての二次元断層画像における線構造は網膜層に相当するため、当該Ｈｅｓｓｉａｎフィルタの適用により、網膜層の構造を強調することができる。

なお、厚みの異なる網膜層を検出するには、ヘッセ行列を計算する際に行うガウス関数による平滑化の解像度を変更すればよい。また、二次元のＨｅｓｓｉａｎフィルタを適用する際には、画像のＸＺの物理サイズを合わせるようにデータを変形した後に適用することができる。一般的なＯＣＴの場合、ＸＹ方向とＺ方向の物理サイズが異なる。そのため、画素毎の網膜層の物理サイズを合わせてフィルタを適用する。なお、ＸＹ方向とＺ方向の物理サイズは、ＯＣＴ装置２００の設計／構成から把握できるため、当該物理サイズに基づいて、断層画像のデータを変形させることができる。また、物理サイズを正規化しない場合には、ガウス関数による平滑化の解像度を変更することでも近似的に対応できる。

上記では、二次元断層画像での処理について説明したが、Ｈｅｓｓｉａｎフィルタを適用する対象はこれに限らない。断層画像を撮影した際のデータ構造がラスタスキャンによる三次元断層画像である場合、三次元のＨｅｓｓｉａｎフィルタを適用することも可能である。この場合、画像処理部３３１によって、隣接する断層画像間において、ＸＺ方向の位置合わせ処理を行った後に、ヘッセ行列の３つの固有値（λ_１、λ_２、λ_３）の関係に基づいて、三次元濃淡分布の二次局所構造を強調することができる。そのため、ヘッセ行列の固有値と固有ベクトル（ｅ_１、ｅ_２、ｅ_３）の関係を用いて三次元の層構造を強調することで、三次元的にエッジを強調することも可能である。なお、ここでは、Ｈｅｓｓｉａｎフィルタを用いてエッジ強調処理を行う構成について説明したが、エッジ強調処理の処理方法はこれに限られず、既存の任意の方法によって行われてよい。

画像処理部３３１は、エッジ強調処理をした断層画像からエッジ強調された境界を検出する。本実施例では、ＩＬＭとＮＦＬとの境界、ＲＰＥ、ＩＳＯＳ、ＮＦＬとＧＣＬ境界を検出する。なお、図示しないが、その他の境界として、外網状層（ＯＰＬ）と外顆粒層（ＯＮＬ）との境界、内網状層（ＩＰＬ）と内顆粒層（ＩＮＬ）との境界、ＩＮＬとＯＰＬとの境界、ＧＣＬとＩＰＬとの境界等も検出できる。

境界の検出方法としては、各Ａスキャンにおいてエッジ強度が強い箇所を境界候補として複数検出し、隣接するＡスキャンにおいて境界候補同士の連続性を基に、点（エッジ強度画強い箇所）を線としてつなげる処理を行う。また、画像処理部３３１は、点を線としてつなげた場合に、線の滑らかさを評価することで、深さ方向に位置がずれている外れ値を除去することができる。より具体的には、例えば、つなげた点同士のＺ方向の位置を比較し、所定の閾値よりもＺ方向の位置の差が大きい場合には、新しくつなげられた点を外れ値として判断し、つなげる処理から除外することができる。また、外れ値を除去した場合、除外した点のＡスキャン位置に隣接するＡスキャンにおける境界候補を線としてつなげてもよい。なお、外れ値の除去方法はこれに限られず、既存の任意の方法によって行われてよい。

画像処理部３３１は、点をつなげて形成した各線について、網膜層の境界のＺ方向の上下の距離や位置関係に基づいて、対応する境界を決定する。なお、各Ａスキャンにおいて外れ値を除去した結果として検出された境界がない場合には、周囲の境界から補間でこれを求めてもよい。また、周囲の境界からエッジを頼りに水平方向（Ｘ又はＹ方向）に境界候補を探索していき、周囲の境界から探索した境界候補を基にして再度、境界を決定するようにしてもよい。

その後、画像処理部３３１は、検出した境界に対して、境界の形状を滑らかに補正する処理を実行する。例えば、ＳｎａｋｅｓやＬｅｖｅｌ Ｓｅｔ法等の動的輪郭モデル等により、画像特徴と形状特徴とを用いて境界の形状を滑らかにしてもよい。また、境界形状の座標値を信号による時系列データとみなして、Ｓａｖｉｔｚｋｙ−Ｇｏｌａｙフィルタや、単純移動平均、加重移動平均、指数移動平均等の平滑化処理で形状を滑らかにしてもよい。

なお、網膜層の検出に関しても専用の学習済モデルを用いて行うようにしてもよい。その場合、事前に教師データとして作成したラベル画像と入力画像としてラベル画像の生成に用いた断層画像とをペアで学習した層検出用の学習済モデルを生成しておく。なお、ラベル画像とは、断層画像における画素毎に、当該画素に現れている（撮影されている）像に関するラベルが与えられた画像をいう。例えば網膜よりも浅層側（硝子体側）のラベル、網膜内層のラベル、および網膜よりも深層側（脈絡膜側）のラベルが、与えられるラベルとして例示できる。

次に、画像処理部３３１は、複数の解析値を得るための計測処理を行う。解析値の例としては、境界検出で求めた任意の２本の境界で定義される網膜の厚みがある。例えば、緑内障においては網膜が菲薄化し、上下で層厚が非対称となる傾向がある。また、網膜静脈分子閉塞症等のように出血を伴う異常を被検眼が有する場合、出血により網膜全体が厚くなる。そのため、網膜の厚みを計測してその解析値を得ることで、病気によって現れる層厚変化の特徴を知ることができる。

また、網膜における層厚は、計測部位が黄斑部なのか、視神経乳頭部なのかによっても厚みの基準が異なる。このため、計測部位の位置情報と共に厚みを計測しておくとよい。また、撮影部位が視神経乳頭部の場合、ＣｕｐとＤｉｓｃの比であるＣ／Ｄ比も計測するとよい。その他に、境界検出で求めた任意の境界の形状特徴を計測するようにしてもよい。例えば、強度近視眼においては網膜が後方（下方向）に引き伸ばされたような形に変形する。また、加齢黄斑変性では、ＲＰＥが上に突出したような形に変形する。そのため、形の特徴として、ＲＰＥやブルッフ膜等の境界を用いて局所的な曲率を解析値として計測するとよい。このような解析値からは、病気によって現れる形の特徴を把握することができる。

上述したように、病気によって層厚や網膜の形に特徴が表れる。さらに、一つの眼において、これらの特徴が一つ現れるだけではなく、複数の特徴が表れることがある。例えば、ある疾病によって特定の層の菲薄化が進行することに合わせて湾極度等の形状の変化も進行し、病状の進行によってある時点で湾曲の影響も加わって菲薄化が急激となることも起こり得る。このような場合、菲薄化の進行のみを解析値から想定していた場合には、急激な変化は想定し得ない。そのため、計測しておく解析値は、層厚や湾極度等の想定される複数種類ものを得ておくとよい。

また、上述したように、画像処理部３３１がモーションコントラストデータを生成することとしてもよい。この場合、画像処理部３３１は、モーションコントラストデータを平均値投影する（ＡＩＰ）、あるいは最大値投影（ＭＩＰ）することで得られるモーションコントラスト画像の正面画像であるＯＣＴＡ画像を用いて解析値を得てもよい。例えば、ＯＣＴＡ画像を２値化、あるいは２値化画像を細線化した画像から、血管に相当する箇所の密度や血管の形状（長さや形）等特徴を求めてもよい。これら特徴も解析値として用いることができる。

ステップＳ３０４において、画像処理部３３１による解析値の計測処理が行われると、処理はステップＳ３０５に移行する。ステップＳ３０５では、検出した境界と断層画像とを表示部６００に表示する。ここで、表示部６００に画面を表示する際の処理について、図３（ｂ）、および図４乃至図６を用いて説明をする。なお、図３（ｂ）は、ステップＳ３０５の表示処理において実行される一連の処理のフローチャートである。本実施例に係る表示処理が開始されると、処理はステップＳ３５１に移行する。

ステップＳ３５１では、撮影条件取得部３３３が、ステップＳ３０２で干渉信号を取得した際の撮影条件を記憶部３０２から取得する。また、撮影条件取得部３３３は、ステップＳ３０１で取得した被検眼情報も記憶部３０２から併せて取得する。

ステップＳ３５２では、ステップＳ３５１で取得した情報から、記憶部３０２又は外部記憶装置５００が同一の被検眼において過去に同じ走査パターンで撮影して得た情報を記憶しているか否かが、選択部３３４により判定される。過去に同じ走査パターンで撮影されたデータがある場合には、処理はステップＳ３５３に移行する。また、このようなデータがない場合には、処理はステップＳ３５６に移行する。

なお、撮影されたデータの有無だけではなく、過去検査数に応じてフローを分けてもよい。例えば、過去に撮影されたデータ数が１だけの場合、現在のデータと合わせても２データ分しかないため、後述する学習済モデルを用いるには情報が少ない。そのため、過去検査数として閾値Ｔｈ（例えば、Ｔｈ＞２）を設定し、過去検査数が一定数以上ある場合に、処理がステップＳ３５３に移行するようにしてもよい。

ステップＳ３５３では、撮影条件取得部３３３が取得した撮影条件に基づいて、選択部３３４が使用する学習済モデルの選択を行う。撮影部位に関連した撮影条件としては、例えば撮影部位が被検眼の前眼部か後眼部かがある。前眼部と後眼部とでは、画像データから出力される解析値が異なるため、それぞれ別々の学習済モデルを得ておく。なお、本実施例では、前眼部と後眼部との何れを撮影するかによって用いる学習済モデルを選択する例について説明をした。しかし、参照する撮影部位はこれに限られず、後眼部においても、さらに黄斑部か視神経乳頭部かに応じて学習済モデルを選択するようにしてもよい。

なお、例えば後眼部の学習済モデルがあり、前眼部の学習済モデルが存在しない場合において、入力するデータが前眼部の画像の場合、ステップＳ３５２の時点において、フローがステップＳ３５６に移行するようにしてもよい。このような処理により、初期は学習済モデルが対応していなくても、ソフトウェアのアップデートにより対応可能な学習済モデルを追加して、前眼部を撮影した場合にも対応することができるようになる。

ステップＳ３５４では、演算処理部３３２が、学習済モデルを用いて、将来的に当該被検眼を同じ撮影条件で撮影した場合に得られる可能性が高い断層画像を生成する。また、画像処理部３３１は、生成された断層画像を用いて、上述した複数種類の解析値を算出する。なお、本実施例では、演算処理部３３２が、学習済モデルを用いて断層画像を生成することとしている。しかし、演算処理部３３２は、上述した画像処理部３３１により求められた複数種類の解析値から、将来的に得られる可能性の高い各々の解析値を直接生成することとしてもよい。

なお、上述したように、本発明の説明における学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデル対して、事前に適切な学習データを用いてトレーニングしたモデルである。ここで、本実施例に係る学習済モデルを得る際のトレーニングに用いる学習データについて説明する。学習データは、実際に学習済モデルに入力されるデータに対応する入力データと、学習済モデルによって生成されるデータに対応する教師データとのペアからなる。本発明では、入力データとして、第一の時間と該第一の時間より後の第二の時間の少なくとも二つの時間に、同一被検眼を同じ撮影条件で撮影して得た二つの断層画像、あるいは該断層画像から得た複数種類の解析値からなる二つの検査結果を用いる。また、教師データとして、第二の時間よりもさらに後の第三の時間に、同一被検眼を同じ撮影条件で撮影して得た断層画像あるいは該断層画像から得た複数種類の解析値からなる検査結果を用いる。

学習済モデルを得る際には、ここで述べたように、過去の少なくとも三つの時点で予め得られている断層画像や検査結果を学習データに用いて学習を行う。そして、この学習済モデルを用いる際には、学習済モデルの生成時に用いた入力データに対応する過去の第一の時間と第二の時間との時間間隔と同じ時間間隔で得られている二つの検査結果を入力する。教師データは、学習済モデルから生成される解析値等と対応する。すなわち、学習済モデルを用いることで、上述した第二の時間と第三の時間との時間間隔と対応する数か月から数年先において、この被検眼から得られる可能性の高い解析値を得ることができる。

次に、複数種類の解析値を用いた場合の機械学習アルゴリズムについて図４を用いて説明をする。ここで、学習済モデルを得る際のトレーニングに用いる学習データについて説明する。上述したように、学習データは、過去の異なる時間において撮影した同じ被検眼から得られている、例えば複数種類の解析値からなる数値データを含む。学習データの一例を図４に示す。図４では、Ｎ個の計測パラメータ（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）の時系列上（日時Ｔ）の解析値（数値）の例を示している。ここで複数種類の解析値には、例えば撮影部位が後眼部画像の場合には、網膜全体の厚み、任意の層間の厚み、脈絡膜の厚み、網膜の形状特徴（例えばＲＰＥやブルッフ膜等の曲率）等が含まれる。また、撮影部位が視神経乳頭部の場合には、網膜の厚みの他にＣｕｐとＤｉｓｃの比であるＣ／Ｄ比等が複数種類の解析値に含まれる。なお、Ｃ／Ｄ比は断層画像からではなく、眼底画像撮影装置４００から取得した眼底写真やＳＬＯ等の平面画像から求めてもよい。また、撮影部位が前眼部の場合には、角膜厚、角膜曲率、前房深度、水晶体全面曲率、水晶体後面曲率等が複数種類の解析値に含まれる。

図４は、撮影を行った日時を示す時間軸Ｔからなる横軸と、特定の計測パラメータの解析値からなる縦軸とからなる時系列グラフである。なお学習データとして、解析値の数値をそのまま用いてもよい。しかし、扱いやすくするために、前の時間の解析値との差分を求め、これを学習データとして用いてもよい。なお、上述した学習済モデルの生成時に用いる入力データとして時系列上の２つのデータを用い、学習済モデルに入力されるデータもこれに対応して２つのデータを用いる例について上では述べている。しかし、入力データおよび入力されるデータの数は２つに限られず、より多くのデータ数であってもよい。学習済モデルの生成時に時系列上の多くのデータを用いることで学習に要する時間が長くなる。しかし、入力データの間隔をこの時系列上の任意のデータの間隔とあわせることが可能となり、汎用性が高められる可能性が生まれる。

さらに、学習時にはこれら複数の解析値からなるデータをトータルして病気の進行が進んだか、進行していないか、止まったかという病気の進行度に関する情報を評価値として学習データに加えてもよい。この場合、病気の進行度は数値として定義しておく。例えば、医師等が解析値の時系列データや、断層画像を参照して病状を判断し、病気の進行が進んでいる場合は評価値１００、変わっていない場合は評価値５０、改善した場合は評価値０等とする。なお、この数値はあくまでも一例であり、この値に限るものではなく、病気の種類や判断対象とする項目に応じて、評価値は適宜定められる。なお、ここでは評価値を数値として扱う場合を例として説明しているが、例えば病気の進行状態や、眼の状態について良否をランク付けすることとしてもよい。即ち、ここで述べた評価値は、目の状態を医師等が評価して定め、データとして入力する評価情報の一例となる。

次に、本実施例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるＲｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（以下、ＲＮＮ）に関して、図５を参照して説明する。また、ＲＮＮの一種であって、演算処理部３３２が用いるＬｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図６を参照して説明する。

図５（ａ）は、演算処理部３３２における機械学習モデルであるＲＮＮの構造を示す。図５に示すＲＮＮ５２０は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘ^ｔ５１０を入力し、データｈ^ｔ５３０を出力する。ＲＮＮ５２０はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図５（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘ^ｔ５１０にはＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）の計測パラメータに関する解析値が含まれ。また、ＲＮＮ５２０より出力されるデータｈ^ｔ５３０には入力データに対応するＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）の解析値が含まれる。

しかし、ＲＮＮでは誤差逆伝搬時に長期時間の情報を扱うことができない。そのため、本実施例ではＬＳＴＭを用いることとする。ＬＳＴＭは、忘却ゲート、入力ゲート、出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図６（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ６２０において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃ^ｔ−１と出力データｈ^ｔ−１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。本実施例において、このベクトルは、図４で示した解析値で構成される。

次に、図６（ｂ）にＬＳＴＭ６２０の詳細を示す。図６（ｂ）において、ＦＧは忘却ゲートネットワーク、ＩＧは入力ゲートネットワーク、ＯＧは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。ＣＵは、セル更新候補ネットワークであり、活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。

なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルはニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等の機械学習モデルを用いてもよい。また、ここに例示したＲＮＮやＬＳＴＭではデータとして解析値に例示される数値を入力する場合について述べている。しかし、上述したように、断層画像等の断層データを入力し、断層データを出力するようにＲＮＮやＬＳＴＭを構成してもよい。

学習済モデルにデータを入力すると、学習済モデルの設計に従ったデータが出力される。例えば、学習データからトレーニングされた傾向に従って入力データに対応する可能性の高い出力データが出力される。例えば、上述した学習データによってトレーニングされた学習済モデルにＯＣＴによって撮影された断層画像を入力すると、将来の撮影される可能性が高いと予測される断層画像が出力される。また、断層画像ではなく解析値を用いる学習済モデルを用いた場合であれば、該学習済モデルにＯＣＴによって撮影された断層画像から得られた解析値を入力すると、将来撮影された断層画像から計測される可能性が高いと予測される解析値が出力される。

本実施例に係る演算処理部３３２の学習済モデルでは、データｘ^ｔ５１０として断層画像が入力されると、学習データを用いて学習した傾向に従って、データｈ^ｔ５３０として断層画像が出力される。また、データｘ^ｔ５１０として複数の計測パラメータの解析値が入力されると、学習データを用いて学習した傾向に従って、データｈ^ｔ５３０として対応する計測パラメータの解析値が複数出力される。

ステップＳ３５５あるいはＳ３５６では、表示制御部３０５からの指示に応じて、表示部６００が解析結果を表示する。なお、ステップＳ３５５とステップＳ３５６では、演算処理部３３２により生成された結果の表示を行うか、ステップＳ３５１で取得した解析値等がそのまま表示されるかが異なるだけで、それ以外の表示情報は同じである。よって、表示部６００に表示される画面については、以降でまとめて説明する。

図７に表示部６００に表示する画面の一例を示す。表示画面７１０には、患者タブ７０１、撮影タブ７０２、レポートタブ７０３、および設定タブ７０４が表示される。また、表示画面の左側には、過去に同一被検眼を撮影して得た断層画像群が、サムネイル画像７０５として表示される。なお、図ではレポートタブ７０３に斜線が加えられているが、この斜線はレポート画面がアクティブ状態であることを表している。以下、本実施例において、レポート画面を表示する場合について説明をする。なお、ここではアクティブ状態を示すために斜線を用いたが、例えば表示領域の着色は表示文字の色変更等によりアクティブ状態を示すこともできる。

レポート画面には、被検眼を水平方向に走査して得られる断層画像７１１と、垂直方向に走査して得られる断層画像７１２とが示される。また、レポート画面には、眼底の正面像であるＳＬＯ画像７１３が表示される。この、ＳＬＯ画像７１３には、例えば網膜の厚みを表現するカラーマップ７１４が重畳されている。また、ＳＬＯ画像７１３に重畳表示されたセクターの各領域の網膜厚を表示するＥＴＤＲＳグリッド７１５と、ＥＴＤＲＳグリッド内の網膜厚を表わす表７１６も併せて表示される。

グラフ７２０は、断層画像７１１，７１２から求められる網膜の厚みについて、これを時系列で配置することで得られている。演算処理部３３２より生成された網膜の厚みについての予想解析値がある場合には、ここに表示をする。セレクタ７２１は、グラフ７２０に示している解析値を得ている計測パラメータを選択するために用いられる。ここでは網膜の厚さを計測パラメータとするＰａｒａｍｓ１が選択されている。

グラフ７２０において、複数の黒丸７２２は過去に撮影された断層画像から得た網膜厚の時系列の解析値を、白丸７２３は最新の解析値を示している。さらに、星印７２４は、演算処理部３３２が生成した将来の網膜厚の予測値を示している。確率７２５は、前述した医師等によって入力された評価値に対応する。過去の解析値に併せて評価値が入力されている場合には、演算処理部３３２はこの評価値を生成し、レポート画面にはこれが確率７２５として表示される。

なお、本実施例では、複数の計測パラメータの解析値を入力し、これらから演算処理部３３２が対応する進行予測値を解析値として出力し、その結果がグラフ７２０として表示される。そのため、グラフ７２０に表示される時系列の解析値は、セレクタ７２１で表示する計測パラメータを選択することによって変わり、これに応じて星印７２４で示される将来の予測値も変更される。しかし、確率７２５は、全体のパラメータを用いて医師等により総合的に入力された評価値に基づいて生成されるため、セレクタ７２１で表示する計測パラメータを変更しても結果は変わらない。

また、ここでは確率７２５の進行予測値を単に数値表示する例を示している。しかし、他の表示例として、症状が改善する場合には青字や緑字、あまり変化がない場合は黒字、症状が悪化する可能性が高い場合には橙字や赤字など、視覚的に分かりやすいように数値の色を変えて表示するようにしてもよい。また、確率７５２として表示するのではなく、グラフ７２０に表示される各点について、これを上述した色表示することで検者に症状の進行状態を示すこととしてもよい。更に、ここでは医師等が被検眼を評価し、その評価結果を確率として数値化して入力することとしているが、評価結果は数値に限定されず、例えばランク付けすることで行ってもよい。即ち、ここで表示される対象は、医師等が被検眼の状態を評価することで得た評価情報であればよい。

ステップＳ３５５では、演算処理部３３２により生成された結果を含めたグラフ７２０と、確率７２５とを含めたレポート画面が表示画面７１０に表示される。表示後、フローはステップＳ３０６に移行する。ステップＳ３５６では、演算処理部３３２が解析値等を生成できないため、ステップＳ３５１で得られた結果がそのまま表示部６００に表示される。この場合、グラフ７２０には星印７２４が表示されず、確率７２５も表示されない、あるいは空欄として表示される。表示後、フローはステップＳ３０６に移行する。なお、ステップＳ３３６における表示において、確率７２５として、入力部７００を介して医師等が評価値を入力することもできる。

上述したように、本実施例では、レポート画面の表示を行う処理において演算処理部３３２により将来の断層画像や解析値を生成する形態について説明している。しかし、演算処理部３３２が将来の断層画像や解析値を生成するタイミングはこれに限られない。ステップＳ３０４における計測処理が終了した段階で、過去の検査がある場合に断層画像あるいは解析値の生成を行って外部記憶装置５００にこれを保存することとしてもよい。この場合、ステップＳ３０５の表示処理においては、保存されている断層画像あるいは解析値を読みだして表示するようにしてもよい。

ステップＳ３０６では、取得部３０１は、画像処理システム１による断層画像の撮影に係る一連の処理を終了するか否かの指示を外部から取得する。この指示は、入力部７００を用いて、ユーザによって入力されることができる。処理を終了する指示を取得した場合には、画像処理システム１は本実施例に係る一連の処理を終了する。一方、取得部３０１が処理を終了しない指示を取得した場合には、フローをステップＳ３０２に戻して撮影を続行する。

上述したように、本実施例に係る画像処理装置３００は、取得手段（取得部３０１）と、生成手段（演算処理部３３２）とを備える。取得手段は、第一の時間に関連付いた被検眼の第一の断層に関するデータと、第一の時間より後の第二の時間に関連付いた被検眼の第二の断層に関するデータと、を取得する。第一の断層に関するデータは、第一の時間に被検眼を撮影して得た断層画像と、該断層画像から得られる複数種類の解析値（第一の解析値）とのうち少なくとも一つを含む。また、第二の断層に関するデータは、第二の時間に被検眼を撮影して得た断層画像と、該断層画像から得られる複数種類の解析値（第二の解析値）とのうち少なくとも一つを含む。

演算処理部３３２は、学習済モデルを用いて、取得部３０１により取得された第一の断層に関するデータと第二の断層に関するデータとから、第二の時間より後の第三の時間における被検眼の複数種類の解析値の少なくとも一つを生成する。このとき、断層に関するデータには、複数種類の解析値が含まれる。なお、断層に関するデータには、複数種類の解析値を１つのデータセットとして取り扱った場合だけでなく、複数種類の解析値それぞれのデータを別々に取り扱う場合も含まれる。また、少なくとも一つの解析値は、学習済モデルを用いて生成された被検眼の断層画像（第三の断層に関するデータ）から演算・生成されることもできる。即ち、断層に関するデータは、断層画像或いは断層データであってもよい。この場合、上述した第一の時間に関連付いた断層画像と、第二の時間に関連付いた断層画像とを取得し、学習済モデルを用いてこれら断層画像から断層画像を生成し、生成された断層画像から特定の解析値を得ることとなる。なお、異なる時間における同一被検眼の断層画像を比較した場合、例えば病気の進行によって、特性の層が菲薄化すると同時に、当該層或いは周囲の層において曲率も変化している場合がある。即ち、学習済モデルに入力するデータとして同一被検眼から異なる時間に取得した断層画像そのものを用いることで、被検眼についての複数種類の解析値の変化がまとめて勘案されたような将来の断層画像を得ることとなる。上述したように、本発明は目の複合的な特徴を用いた診断補助の提供を目的とし、被検眼の複数種類の解析値を含む断層に関するデータであって、異なる時間に関連付いた２つのデータから学習済モデルを用いて特定の解析値を得ることとしている。従って、異なる時間に被検眼を撮影して得た２つの断層画像から学習済モデルを用いて生成される断層画像を解析することにより特定の解析値を得ることは、上述した異なる時間に関連付いた２つの断層に関するデータから特定の解析値を得ることと、同様の効果を得ることができる。なお、ここでは、第一の時間に関連付いた断層画像と、第二の時間に関連付いた断層画像とを取得し、学習済モデルを用いてこれら断層画像から断層画像を生成し、生成された断層画像から特定の解析値を得る例について述べた。しかし、２つの断層画像から断層画像を生成する学習モデルを用いるのではなく、２つの断層画像から直接的に解析値を生成する学習済モデルを用いてもよい。この場合、第一の時間に関連付いた断層画像と、第二の時間に関連付いた断層画像とを取得し、学習済モデルを用いてこれら断層画像から直接的に特定の解析値を得ることとなる。

本実施例に係る学習済モデルは、入力データと教師データとからなる学習データを用いて得られる。入力データには、例えば第一の時間より前の第四の時間に被検眼を撮影して得た断層画像と、第一の時間より前で且つ該第四の時間より後の第五の時間に被検眼を撮影して得た断層画像とを用いる。また、教師データには、第一の時間より前で且つ第五の時間より後の第六の時間に被検眼を撮影して得た断層画像を用いる。

なお、演算処理部３３２において、学習済モデルに入力されるデータは、断層画像ではなく、被検眼の断層画像から得られる複数種類の解析値の各々であってもよい。この場合、学習済モデルにおける入力データの一つは、第一の時間より前の第四の時間に被検眼を撮影して得た断層画像から得られる複数種類の第四の解析値となる。また、もう一つの入力データは、第一の時間より前で且つ該第四の時間より後の第五の時間に被検眼を撮影して得た断層画像から得られる複数種類の第五の解析値となる。そして、教師データは、第一の時間より前で且つ第五の時間より後の第六の時間に被検眼を撮影して得た断層画像から得られる複数種類の第六の解析値となる。これら入力データおよび教師データを用いて学習すること、上述した学習済モデルが得られる。

なお、上述した学習済モデルに入力されるデータと、学習済モデルを得るために用いる入力データとにおいて、第二の時間と第三の時間との間の経過時間と、第五の時間と第六の時間との間の経過時間とは略等しい。この場合、厳密に経過時間が同じである必要は無いが、例えば被検眼において注目する病状あるいは異常に応じて、ユーザが許容される相違量を適宜定めることができる。

また、本実施例に係る画像処理装置３００の取得部３０１は、第一の時間および第二の時間における被検眼の状態に関する、上述した評価情報を取得できる。この場合、演算処理部３３２は、第三の時間における前記複数種類の解析値の少なくとも一つに併せて、第三の時間における評価情報を生成することができる。また、表示制御手段（表示制御部３０５）は、生成された評価情報を表示部６００に表示させることができる。

ここで、第一の断層に関するデータおよび第二の断層に関するデータが断層画像（断層データ）であった場合を考える。この場合、これら断層に関するデータからは、各々第一の時間に関連付いた第一の解析値および第二の時間に関連付いた第二の解析値が得られる。表示制御部３０５は、第三の時間における少なくとも一つの解析値と同じ種類の第一および第二の解析値、並びに前記第三の時間における少なくとも一つの解析値を用いてグラフ７２０を生成する。表示制御部３０５は、生成されたグラフ７２０を表示部６００に表示させる。

また、本実施例に係る画像処理装置３００は、被検眼から第一の断層に関するデータおよび第二の断層に関するデータを取得する取得条件に基づいて学習済モデルを選択する選択手段（選択部３３４）をさらに備える。この場合、取得条件には、例えば撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式の少なくともいずれかが含まれる。

本実施例によれば、被検眼を、少なくとも二つの異なる時間に撮影することで得た断層データや該断層データから得た解析値から、学習済モデルを用いてこの被検眼を将来に撮影した場合に得られる可能性の高い断層データあるいは解析値を得ることができる。従って、この被検眼の診断に際して、経過観察や治療方針等に対して診断補助に有効な情報を提示することができる。

（実施例２）
実施例１においては、被検眼の断層画像や、該断層画像や眼底平面画像から求めた様々な解析値を用いて、被検眼の計測パラメータ各々についての複数の解析値を生成する例について示した。しかし、被検眼を検査する際に用いる被検眼に関する数値は、上述した断層画像から計測される解析値等に限られない。また、これら以外に被検眼で計測される計測値によっても被検眼の病状等、状態の推移を知ることができる。実施例２においては、他の検査（例えば、眼軸長や眼圧など）結果も含めて入力できる、学習済モデルを用いることとし、これにより各種解析値や計測値、さらには上述した評価値を生成する。

以下、図８を参照して、本実施例に係る画像処理システム８について説明する。以下の説明においては、実施例１に係る画像処理システム１との違いを中心として説明する。なお、実施例１に係る画像処理システム１の構成および処理と同様である本実施例に係る画像処理システムの構成および処理については、同一の参照符号を用いて示し、ここでの説明を省略する。

図８は、本実施例に係る画像処理システム８の概略的な構成の一例を示す。本実施例に係る画像処理システム８では、画像処理装置８００の処理部８０３において、演算処理部３３２に変えた本実施例に係る演算処理部８３２と、新たに設けられた計測値取得部８３５とが配される。

計測値取得部８３５は、被検眼に関する他の検査情報を取得する。具体的には、計測値取得部８３５は、例えばユーザーインターフェイスにより、ユーザが入力した計測値を取得するよい。また、ネットワークを介して電子カルテシステムと連携し、電子カルテシステムに登録された数値データを取得してもよい。あるいは、バーコードリーダーやＲＦＩＤリーダー等、外部リーダーから情報を取得してもよい。

本実施例においては、実施例１の図５および図６で示した入出力のパラメータベクトル（ｃ、ｈ、ｘ）の中身が異なる。すなわち、演算処理部８３２に入出力されるデータが異なる。実施例１では、学習や解析値生成時に用いたベクトルの中身では、断層画像あるいは該断層画像から得られた解析値をＰａｒａｍｓとして用いていた。これに対し、本実施例では、断層画像あるいは該断層画像から得られた解析値だけではなく、眼軸長検査や眼圧検査等、画像を用いない眼部に関する検査データを入出力のパラメータベクトルに追加をして解析値等の生成を行う。

例えば、実施例１ではＰａｒａｍｓ１〜ＰａｒａｍｓＮとして、Ｎ個の解析値を用いた例を示した。これに対し、本実施例では、計測値取得部８３５が取得する計測値がＭ個だとすると、Ｐａｒａｍｓ１〜ＰａｒａｍｓＮの解析値とＰａｒａｍｓ１’〜ＰａｒａｍｓＭの計測値とを用いて学習を行うこととなる。演算処理部８３２は、これらＮ個の解析値と、Ｍ個の計測値とから学習データを取得し、これら学習データを用いて得られた学習済モデルを用いる。

本実施例に係る演算処理部８３２は、ディープラーニング等の任意の機械学習モデルに対して学習データを与えて作成された学習済モデルを含む。演算処理部８３２は、この学習済モデルに対して、第一の時間に被検眼を撮影することで得た断層データおよび計測値と、第一の時間の後の第二の時間に被検眼を撮影することで得た断層データおよび計測値とを入力する。演算処理部８３２は、これら断層データおよび計測値から、学習済モデルを用いて断層画像および計測値を生成する。生成された断層画像に対しては、画像処理部３３１において解析処理が行われ、該断層画像における複数種類の解析値が算出される。なお、この複数種類の解析値の算出は上述したエッジ強調処理等を用いて演算処理部８３２で行ってもよく、算出ではなく学習モデル済みを用いて解析値から直接生成することとしてもよい。

ここで、本実施例における学習済モデルを得る際のトレーニングに用いる学習データについて説明する。学習データは、実際に学習済モデルに入力されるデータに対応する入力データと、学習済モデルによって生成されるデータに対応する教師データとからなる。実施例１では、入力データとして、第一の時間と該第一の時間より後の第二の時間の少なくとも二つの時間に、同一被検眼を同じ撮影条件で撮影して得た二つの断層画像、あるいは該断層画像から得た複数種類の解析値からなる二つの検査結果を用いる。本実施例では、さらに第一の時間に同一被検眼が計測されて得た計測値と、第二の時間に計測されて得た計測値とを、併せて入力データとする。また、教師データとして、第二の時間よりもさらに後の第三の時間に、同一被検眼を同じ撮影条件で撮影して得た断層画像あるいは該断層画像から得た複数種類の解析値からなる検査結果と、第三の時間に計測されて得た第三の計測値とを用いる。

学習済モデルを得る際には、ここで述べたように、過去の少なくとも三つの時点で予め得られている検査結果および計測結果を学習データに用いて学習を行う。そして、この学習済モデルを用いる際には、学習済モデルの生成時に用いた入力データに対応する過去の第一の時間と第二の時間との時間間隔で得られている二つの検査結果および計測結果を入力する。教師データは、学習済モデルから生成される解析値等および計測結果と対応する。すなわち、学習済モデルを用いることで、上述した第二の時間と第三の時間との時間間隔に対応する数か月から数年先において、この被検眼から得られる可能性の高い解析値と計測値とを得ることができる。

なお、ここでは断層画像の取得時と計測値の取得時は例えば第一の時間で同じと称している。しかし、例えば緑内障等、病変が緩やかに進行する被検眼が対象となる場合であれば、断層画像と計測値との取得とは、厳密に同じ時間で無くともよい。例えば、数日の間隔があっても、病状の推移に鑑みて許容できる場合がある。

例えば、緑内障についての検査では、断層画像からの解析値で得られる情報に加え、眼圧値や強度近視眼での眼軸長等が有効である。本実施例によれば、断層画像から得られる解析値だけではなく、被検眼に関する他の種類の計測パラメータについての計測値を用いて、将来的な被検眼についての解析値や計測値を生成することができる。また、医師等はこれら計測値も参照した上で上述した評価値を定め、演算処理部８３２は学習済モデルを用いて将来想定される評価値を生成する。従って、緑内障を例とした場合、その症状をより適切に判断できる計測値も参照することで、医師等の診断に際して、より確度の高い診断補助データを提供することができる。

なお、計測値として、ここでは眼軸長や眼圧を例示した。しかし、本実施例において用いる計測値を得る計測パラメータはこれらに限らず、視野データや視力データ等を用いることもできる。また、ここでは、断層画像から得られた解析値と断層画像を解析する以外の手段によって得られた計測値との両方を入力データとする例について述べた。しかし、入力データあるいは入力されるデータはこれに限られない。例えば、演算処理部８３２が、断層画像から得た解析値を用いずに、計測値だけを用いて将来的に計測され得る計測値を生成することとしてもよい。

上述したように、本実施例に係る取得部３０１は、実施例１で述べた解析値等に加え、第一の時間に関連付いた被検眼の第一の計測値と、第二の時間に関連付いた被検眼の第二の計測値とをさらに取得する。演算処理部８３２は、第一の断層に関するデータと、第一の計測値と、第二の断層に関するデータと、第二の計測値とから、第三の時間における複数種類の解析値の少なくとも一つを生成する。なお、演算処理部８３２が少なくとも一つの計測値を生成することとしてもよい。また、実施例１と同様に、学習済モデルに入力するデータに評価情報を加え、演算処理部８３２が評価情報も併せて生成することとしてもよい。この場合、評価情報のみを生成、表示することもできる。

あるいは、本実施例に係る取得部３０１は、第一の時間に関連付いた被検眼の第一の計測値と、第二の時間に関連付いた被検眼の第二の計測値とを取得する態様とすることもできる。この場合、演算処理部８３２は、計測値のみを用いた学習済モデルを予め得ておき、これに第一の計測値および第二の計測値を入力することで、第三の時間における複数種類の計測値の少なくとも一つを生成することもできる。この場合、さらに、入力するデータおよび生成されるデータとして評価情報を含めることもできる。また、ここでは入力するデータや学習済モデル生成のための入力データとして断層データ（断層画像）を用いる場合について述べているが、複数の解析値を用いることもできる。

本実施例によれば、実施例１で用いた断層データやその解析値だけなく、眼軸長や眼圧等の被検眼のその他の計測値も用いて、学習済モデルにより被検眼から将来に得られる可能性の高い断層データ、その解析値、および計測値を得ることができる。従って、この被検眼の診断に際して、経過観察や治療方針等にたいして診断補助にさらに有効な情報を提示することができる。

（実施例３）
実施例１および実施例２においては、被検眼を撮影することで得た断層画像、該断層画像から得た解析値、および被検眼を計測して得た計測値を用いて、被検眼の診断の補助となる情報を提示する例について示した。しかし、実際に被検眼に病変や異常が存在する場合、医師等がこれをそのまま放置して経過を観察することはまれであり、状況に応じて投薬、手術等の治療を被検眼に施す。実施例３においては、治療の有無も含めて、学習済モデルを用いることとし、治療も参照して各種解析値を生成する。また、例えば治療の効果を確認する目的で、将来的な被検眼の病状等の状態に関する評価値を生成する。

以下、図９および図１０を参照して、本実施例に係る画像処理システム９、および表示部に表示されるレポート画面について説明する。以下の説明においては、実施例１および実施例２に係る画像処理システムとの違いを中心として説明する。なお、実施例１および実施例２に係る画像処理システム１および８の構成および処理と同様である本実施例に係る画像処理システム９の構成および処理については、同一の参照符号を用いて示し、ここでの説明を省略する。

図９に、本実施例に係る画像処理システム９の概略的な構成の一例を示す。本実施例に係る画像処理システム９では、画像処理装置９００の処理部９０３において、演算処理部３３２に変えた本実施例に係る演算処理部９３２と、新たに設けられた治療情報取得部９３５とが配される。

治療情報取得部９３５は、被検眼の治療に関する情報を取得する。具体的には、治療情報取得部９３５は、例えばユーザーインターフェイスにより、ユーザが入力した計測値を取得するとよい。また、ネットワークを介して電子カルテシステムと連携し、電子カルテシステムに登録された数値データを取得してもよい。あるいは、バーコードリーダーやＲＦＩＤリーダー等、外部リーダーから情報を取得してもよい。

本実施例においては、実施例１の図５および図６で示した入出力のパラメータベクトル（ｃ、ｈ、ｘ）の中身が異なる。すなわち、演算処理部９３２に入出力されるデータが異なる。実施例１では、学習や解析値生成時に用いたベクトルの中身では、断層画像あるいは該断層画像から得られた解析値をＰａｒａｍｓとして用いていた。これに対し、本実施例では、断層画像あるいは該断層画像から得られた解析値だけではなく、医師等が規定した被検眼の状態に関する評価値、および治療方法を入出力のパラメータベクトルに追加をして解析値の生成を行う。

例えば、実施例１ではＰａｒａｍｓ１〜ＰａｒａｍｓＮとして、Ｎ個の解析値を用いた例を示した。これに対し、本実施例では、治療情報取得部９３５が取得する情報が、手術の手法や、投薬の種類等の治療の内容に関する情報Ｓだとすると、Ｐａｒａｍｓ１〜ＰａｒａｍｓＮの解析値とＰａｒａｍｓＳとを用いて学習を行うこととなる。演算処理部９３２は、これらＮ個の解析値と、治療に関する情報Ｓとから学習データを取得し、これら学習データを用いて得られた学習済モデルを用いる。

次に図１０を参照して、本実施例に係る表示部６００に表示する画面の一例を示す。本実施例において、表示画面１０１０には、第二のセレクタ１０２１がセレクタ７２１に併せて表示される。ここでは、Ｐａｒａｍｓ１についての時系列のグラフ１０２０において、現時点で第二のセレクタ１０２１によって選択された治療１が被検眼に実施された場合の例を示している。グラフ７２０には、白丸１０２３に示される時点において治療１が被検眼に施された場合、将来の網膜厚の予測値は星印１０２４となることが示される。

本実施例において、例えば、被検眼に対してある治療（例えば投薬）を実施する場合、撮影によって得られた解析値に基づいて、選択している計測パラメータの将来的な解析値を得ることができる。さらに、第二のセレクタ１０２１を切り替えることで治療の種類が選択でき、選択した治療に応じて、星印１０２４として得られる解析値や進行予測値である確率１０２５が変化する。

本実施例において、演算処理部は、学習済モデルを用いて、第一の時間に被検眼を撮影することで得た断層データと、第一の時間の後の第二の時間に被検眼を撮影することで得た断層データとから、第二の時間より後の第三の時間で撮影される断層画像を生成する。その際、第一の時間および第二の時間の少なくともいずれかにおいて被検眼に治療が施された場合、断層データに併せてこの治療に関しても学習済モデルに入力される。生成された断層画像に対しては、画像処理部３３１において解析処理が行われ、該断層画像における複数種類の解析値が算出される。なお、この複数種類の解析値の算出は演算処理部３３２で行ってもよく、算出ではなく学習済モデルを用いて生成することとしてもよい。

さらに、第一の時間および第二の時間の少なくともいずれかにおける被検眼の評価値も学習済モデルに入力されるとよい。これにより、被検眼に施した治療がどのような効果を発現させるかが、生成された評価値により数値的に把握することができる。なお、治療の有無を表すデータは、例えば、治療していない時は０、治療をした時には１等として学習済モデルに入力するとよい。さらにこの場合、治療をしたかしないかというだけではなく、治療の種類（例えば、投薬治療、手術等）に応じて、入力値を２や３とするようにしてもよい。

ここで、本実施例における学習済モデルを得る際のトレーニングに用いる学習データについて説明する。実施例１では、入力データとして、第一の時間と該第一の時間より後の第二の時間の少なくとも二つの時間に、同一被検眼を同じ撮影条件で撮影して得た二つの断層画像およびその評価情報を用いることができる。あるいは、二つの断層画像に変えて、該断層画像から得た複数種類の解析値からなる二つの検査結果およびその評価情報を用いることもできる。本実施例では、さらに第一の時間および第二の時間の少なくともいずれかにおいて被検眼に施された治療の内容を、併せて入力データとする。また、教師データとして、第二の時間よりもさらに後の第三の時間に、同一被検眼を同じ撮影条件で撮影して得た断層画像あるいは該断層画像から得た複数種類の解析値からなる検査結果と、第三の時間における被検眼の評価情報とを用いる。

学習済モデルを得る際には、ここで述べたように、過去の少なくとも三つの時点で予め得られている検査結果およびその評価情報を学習データに用いて学習を行う。そして、この学習済モデルを用いる際には、学習済モデルの生成時に用いた入力データに対応する過去の第一の時間と第二の時間とで得られている二つの検査結果、およびいずれかの時間での被検眼の評価情報、および治療に関する情報を入力する。教師データは、学習済モデルから生成される解析値等および評価情報と対応する。すなわち、学習済モデルを用いることで、上述した第二の時間と第三の時間との時間間隔に対応する数か月から数年先において、この被検眼から得られる可能性の高い解析値とその際の被検眼の評価情報とを得ることができる。

より具体的には、例えば、上述した第一の時間にて緑内障を有する被検眼に対して特定の薬が与えられた場合、入力されるデータの一つはその際の被検眼の断層画像から得られる解析値と、その際の被検眼の評価情報と、投薬を示すフラグとなる。また、第二の時間では投薬がされなかった場合、入力されるデータのもう一つは、その際の被検眼の断層画像から得られる解析値と、その際の被検眼の評価情報となる。これに対し、学習済モデルを用いた結果、同一被検眼において、第二の時間の後の第三の時間に撮影された断層画像の解析値と、その際の被検眼の評価情報とが生成される。

この場合の学習済モデルの生成に用いる学習データには、上述した特定の薬が与えられたことがあり、且つ予め時系列の解析値が得られている被検眼についてのデータが用いられる。実際の入力データとしては、投薬時の解析値と評価情報が入力データの一つとなる。また入力データのもう一つには、投薬から、第一の時間と第二の時間との時間間隔と略等しい時間間隔を隔てて被検眼を撮影して得られた解析値、およびその際の評価情報となる。さらに、教師データには、第二の時間と第三の時間との時間間隔と略等しい時間間隔を隔てて被検眼を撮影して得られた解析値、およびその際の評価情報となる。なお、この時間間隔は厳密に一致する必要は無く、例えば病気の進行速度等に応じて、数日から数週間程度の誤差が有っても許容される場合がある。

なお、ここでは第一の時間において投薬が行われた場合を例として本実施例に係る学習済モデルを得る際に用いた学習データ、および該学習済モデルに入力するデータと生成される結果について述べた。しかし、投薬等、治療のタイミングはここで述べた例に限られず、第二の時間に行われてもよく、第一の時間および第二の時間の両方で行われてもよい。この場合、対応する学習済モデルを予め得ておくことにより、治療の結果得られる可能性の高い解析値と評価情報とを得ることができる。

上述したように、本実施例に治療情報取得部９３５は、被検眼に対して第一の時間および第二の時間の少なくともいずれかで行われた治療に関する情報を取得する。この場合の治療は、第一の断層に関するデータおよび第二の断層に関するデータの少なくともいずれかと関連付けられている。本実施例において、演算処理部９３２は、第一の断層に関するデータと、第二の断層に関するデータと、少なくともこれらデータのいずれかと関連付けられた治療に関する情報とから、第三の時間における複数種類の解析値の少なくとも一つを生成する。なお、ここで述べた断層に関するデータは、断層画像から得た上述した複数の解析値であってもよく、断層データ（断層画像）であってもよい。

なお、本実施例に係る画像処理装置９００は、実施例１で述べた断層画像およびその解析値、並びに実施例２で述べた計測値を演算処理部に入力する態様に限られない。例えば、被検眼についての評価情報と、被検眼の状態を示す少なくとも一つの被検眼情報と、被検眼の治療に関する情報とを演算処理部９３２に入力する態様としてもよい。

この場合、評価対象は、第一の時間および第一の時間よりも後の第二の時間の少なくともいずれかにおいて治療が施された被検眼となる。治療情報取得部９３５は、この治療に関する情報を取得する。演算処理部９３２は、第一の時間に関連付いた被検眼の第一の計測データと、第二の時間に関連付いた被検眼の第二の計測データと、を例えば断層画像から演算する。なお、ここでは、実施例１述べた被検眼の断層画像等の画像解析により得た解析値と、実施例２で述べた被検眼を計測することにより得た計測値とを含み、実際に被検眼から得たデータを計測データとする。演算処理部９３２は、第一の時間および第二の時間の少なくともいずれかに関連づいた評価情報を、これら第一および第二の計測データと、治療に関する情報とを、学習済モデルに入力する。学習済モデルは、これら入力された計測データ及び情報を用いて、被検眼の、第二の時間より後の第三の時間の評価情報を生成することもできる。

なお、この場合、表示制御部３０５は、演算処理部９３２は、学習済モデルを用いて生成した被検眼の第三の時間に得られるであろうと予測される計測データである、第三の時間における第三の計測データを生成する。表示制御部３０５は、この生成された第三の計測データと、第一の計測データおよび前記第二の計測データと、を用いてグラフ１０２０を生成する。表示制御部３０５はこのグラフ１０２０を表示部６００における表示画面１０１０に表示させることができる。また、その際、表示制御部３０５は、この表示画面１０１０に生成された第三の時間の評価情報（確率１０２５）と、治療の種類（第二のセレクタ１０２１）と、を併せて表示させることができる。その際、治療の種類としては、手術および投薬の少なくともいずれかを含むことができる。また、被検眼の状態に関する評価情報は、断層画像、その解析値、上述した計測値、或いはその他の観察画像等に基づいて、医師等のユーザが被検眼の診断結果として提示する情報であって、ユーザによって入力される。

本実施例によれば、実施例１で用いた断層データやその解析値だけでなく、被検眼に施した治療の有無も用いて、学習済モデルにより被検眼から将来に得られる可能性の高い断層データ、その解析値、および被検眼の状態を示す評価情報を得ることができる。従って、この被検眼の診断に際し、治療によって被検眼の状態がどのように推移するかについての可能性を医師等に提示できることとなり、経過観察や治療方針等に対して診断補助にさらに有効な情報を提示することができる。

（変形例１）
実施例１乃至３では、取得部３０１がＯＣＴ装置２００で被検眼を撮影することで得た断層データを取得し、画像処理装置はこの断層データを用いて上述した解析値等の生成を行っている。しかし、取得部３０１がこれら断層データを取得する構成はこれに限られない。例えば、既に撮影がされており、外部記憶装置５００等、画像処理装置とＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバに記憶されている断層データを取得部３０１が取得し、該断層データ用いて上述した一連の処理を行ってもよい。その場合、撮影に関する処理を省略し、その代わりに撮影済みの断層画像を取得する。そして、ステップＳ３０４で網膜層の検出と網膜厚の計測等を行う。これにより、撮影時に処理をしなくても、必要な時に網膜層の検出を実行することができ、撮影時には撮影だけに集中することができる。

（変形例２）
実施例１では、断層データあるいは該断層データから得られた解析値、さらには被検眼の評価情報を学習済モデルに入力することにより、将来得られる可能性の高い解析値および評価情報を得る画像処理装置について述べた。また、実施例２では、断層データあるいは該断層データから得られた解析値に併せて被検眼の計測値を学習済モデルに入力することにより、将来得られる可能性の高い解析値および計測値を得る画像処理装置について述べた。しかし、本発明の態様はこれら実施例に限定されず、例えば被検眼の計測値と該計測値を参照して得られた評価情報を学習済モデルに入力することにより、将来得られる可能性の高い計測値および評価情報を得ることとしてもよい。

さらに、実施例３において、治療に関するフラグと被検眼の計測値のみを学習済モデルに入力することにより、将来得られる可能性の高い計測値を得ることとしてもよい。また、さらに評価情報を併せて入力することにより、将来得られる可能性の高い評価情報を併せて得ることとしてもよい。また、上述した実施例では、入力するデータを第一の時間に関連付いたものと第二の時間に関連付いたものの２つの時間に得られたデータとし、これらデータから第三の時間に得られる可能性の高いデータ等を生成することとしている。しかし、入力するデータ、或いは学習済モデルの生成に際して用いる入力データの数は例示した２つに限られず、更に多くすることができる。入力するデータ及び入力データを増やすことにより、得られるであろうと予測するデータ（出力データ）の精度を高めることができる。また、学習済モデルの生成に際して用いた入力データの数より実際に入力するデータが少ない場合、例えば欠損するデータを適当な方法により補完することで、適切な出力データを得ることもできる。例えば実施例２において、時系列的に並ぶ５つの解析値及び計測値を入力データとして用いて得た学習済モデルを用いる場合、解析値が３つ或いは４つの場合であっても、足りない解析値を補完することで、データを出力することが可能となる。例えば、足りない解析値の前後の少なくとも２つの解析値を用いて足りない解析値を推定することが考えられる。このとき、少なくとも２つの解析値から求められる平均値や中央値等を足りない解析値として推定しても良い。また、少なくとも２つの解析値から求められる近似直線や近似曲線等を用いて足りない解析値を推定しても良い。また、第一の時間に関連付けられた複数種類の解析値と、第二の時間に関連付けられた複数種類の解析値とは、全く同じ種類である必要はなく、一部異なる種類があっても良いし、足りない種類があっても良い。また、上述した内容は、学習時においても、矛盾しない範囲で同様に適用することが可能である。

なお、学習済モデルは、上述したように、演算処理部３３２，８３２に設けられることができる。この場合、学習済モデルは、例えば、ＣＰＵ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されることができる。また、学習済モデルは、画像処理装置３００，８００と接続される別のサーバ等に設けられてもよい。この場合には、演算処理部３３２，８３２に接続できる、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、この学習済モデルを用いて解析値、計測値、評価情報等の生成を行うことができる。

（その他の実施形態）
上述したそれぞれの実施例は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施例は画像処理装置或いは、実施例において述べた画像処理方法のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。また、画像処理装置のＣＰＵは、ＲＡＭやＲＯＭに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現し、画像処理時に行われる各工程を実行することもできる。また、ボタン等のユーザーインターフェイスや表示のレイアウトは上述した態様に限定されるものではない。

さらに、本発明は、上述した実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、システム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、実施例および変形例を参照して本発明について説明したが、本発明は上記実施例および変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、および本発明と均等な発明も本発明に含まれる。また、上述の各実施例および変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

１、８：画像処理システム、２００：断層画像撮影装置、３００、８００：画像処理装置、３０１：画像取得部、３０３：処理部、３０５：表示制御部、３１１：断層画像生成部、３３２、８３２：演算処理部、３３３：撮影条件取得部、３３４：選択部、８３５：計測値取得部

Claims (26)

1. 被検眼の複数種類の解析値を含む断層に関するデータであって、第一の時間に関連付いた前記被検眼の第一の断層に関するデータと、前記第一の時間より後の第二の時間に関連付いた前記被検眼の第二の断層に関するデータと、を取得する取得手段と、
   学習済モデルを用いて、前記取得された第一の断層に関するデータと前記取得された第二の断層に関するデータとから、前記第二の時間より後の第三の時間における前記被検眼の複数種類の解析値の少なくとも一つを生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第一の断層に関するデータは、前記第一の時間に撮影して得た断層画像を解析して得た複数種類の解析値であり、
   前記第二の断層に関するデータは、前記第二の時間に撮影して得た断層画像を解析して得た複数種類の解析値であることを特徴とする請求項１に記載の画像処理装置。
3. 前記学習済モデルは、前記第一の時間より前の第四の時間に前記被検眼を撮影して得た断層画像を解析して得た複数種類の解析値と、前記第一の時間より前で且つ前記第四の時間より後の第五の時間に前記被検眼を撮影して得た断層画像を解析して得た複数種類の解析値とを入力データとし、前記第一の時間より前で且つ前記第五の時間より後の第六の時間に前記被検眼を撮影して得た断層画像を解析して得た複数種類の解析値を教師データとする学習データを用いて得られることを特徴とする請求項１又は２に記載の画像処理装置。
4. 被検眼を撮影して得た断層画像を含む断層に関するデータであって、第一の時間に関連付いた前記被検眼の第一の断層に関するデータと、前記第一の時間より後の第二の時間に関連付いた前記被検眼の第二の断層に関するデータと、を取得する取得手段と、
   学習済モデルを用いて、前記取得された第一の断層に関するデータと前記取得された第二の断層に関するデータとから、前記第二の時間より後の第三の時間における前記被検眼の複数種類の解析値の少なくとも一つを生成する生成手段と、
   を備えることを特徴とする画像処理装置。
5. 前記生成手段は、前記被検眼を撮影して得た断層画像を含む断層に関するデータであって、前記被検眼の第三の断層に関するデータを、前記学習済モデルを用いて生成し、前記生成された第三の断層に関するデータを用いて前記複数種類の解析値の少なくとも一つを生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記学習済モデルは、前記第一の時間より前の第四の時間に前記被検眼を撮影して得た断層画像と、前記第一の時間より前で且つ前記第四の時間より後の第五の時間に前記被検眼を撮影して得た断層画像とを入力データとし、前記第一の時間より前で且つ前記第五の時間より後の第六の時間に前記被検眼を撮影して得た断層画像を教師データとする学習データを用いて得られることを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記第二の時間と前記第三の時間との間の経過時間と、前記第五の時間と前記第六の時間との間の経過時間とは略等しいことを特徴とする請求項３又は６に記載の画像処理装置。
8. 前記取得手段は、前記第一の時間に関連付いた前記被検眼の第一の計測値と、前記第二の時間に関連付いた前記被検眼の第二の計測値とをさらに取得し、
   前記生成手段は、前記第一の断層に関するデータと、前記第一の計測値と、前記第二の断層に関するデータと、前記第二の計測値とから、前記第三の時間における前記複数種類の解析値の少なくとも一つを生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記取得手段は、前記第一の断層に関するデータおよび前記第二の断層に関するデータの少なくともいずれかと関連付けられた治療であって、前記被検眼に対して前記第一の時間又は前記第二の時間に行われた治療に関する情報を取得し、
   前記生成手段は、前記第一の断層に関するデータと、前記第二の断層に関するデータと、前記治療に関する情報とから、前記第三の時間における前記複数種類の解析値の少なくとも一つを生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記取得手段は、前記第一の時間および前記第二の時間における前記被検眼の状態に関する評価情報を取得し、
    前記生成手段は、前記第三の時間における前記複数種類の解析値の少なくとも一つに併せて、前記第三の時間における評価情報を生成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記生成された評価情報を表示部に表示させる表示制御手段をさらに備えることを特徴とする請求項１０に記載の画像処理装置。
12. 前記第一の断層に関するデータおよび前記第二の断層に関するデータから得られる第一の解析値および第二の解析値であって、前記第三の時間における前記少なくとも一つの解析値と同じ種類の第一の解析値および第二の解析値、並びに前記第三の時間における前記少なくとも一つの解析値を用いて得られたグラフを表示部に表示させる表示制御手段をさらに備えることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記被検眼から前記第一の断層に関するデータおよび前記第二の断層に関するデータを取得する取得条件に基づいて前記学習済モデルを選択する選択手段をさらに備えることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記取得条件は、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式の少なくともいずれかを含むことを特徴とする請求項１３に記載の画像処理装置。
15. 前記複数種類の解析値は、前記被検眼の後眼部における、網膜全体の厚み、任意の層間の厚み、脈絡膜の厚み、および網膜の形状特徴と、視神経乳頭部における、網膜の厚み、およびＣｕｐとＤｉｓｃと、前眼部における、角膜厚、角膜曲率、前房深度、水晶体全面曲率、および水晶体後面曲率と、を含むことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 第一の時間および前記第一の時間よりも後の第二の時間の少なくともいずれかにおいて治療が施された被検眼であって、前記第一の時間に関連付いた前記被検眼の第一の計測データと、前記第二の時間に関連付いた前記被検眼の第二の計測データと、前記第一の時間および前記第二の時間の少なくともいずれかと関連付けられた、前記被検眼の状態に関する評価情報と、を取得する取得手段と、
    学習済モデルを用いて、前記治療に関する情報、前記第一の計測データ、前記第二の計測データ、および前記評価情報から、前記第二の時間より後の第三の時間における前記被検眼の状態に関する評価情報を生成する生成手段と、
    を備えることを特徴とする画像処理装置。
17. 前記生成手段は、学習済モデルを用いて前記第三の時間における前記被検眼の第三の計測データを生成し、
    前記生成された第三の計測データ、前記第一の計測データおよび前記第二の計測データを用いて得られたグラフと、前記生成された第三の時間における評価情報と、前記治療の種類と、を表示部に表示させる表示制御手段をさらに備えることを特徴とする請求項１６に記載の画像処理装置。
18. 前記被検眼の状態に関する評価情報は、前記被検眼の診断結果としてユーザが入力する情報であることを特徴とする請求項１６又は１７に記載の画像処理装置。
19. 前記治療は、手術および投薬の少なくともいずれかを含むことを特徴とする請求項１６乃至１８のいずれか１項に記載の画像処理装置。
20. 前記第一の計測データは、前記第一の時間に前記被検眼を撮影して得た断層画像から得られ、
    前記第二の計測データは、前記第二の時間に前記被検眼を撮影して得た断層画像から得られることを特徴とする請求項１６乃至１９のいずれか１項に記載の画像処理装置。
21. 第一の時間に被検眼を撮影して得た断層画像を解析して得た複数種類の解析値と、前記第一の時間より後の第二の時間に前記被検眼を撮影して得た断層画像を解析して得た複数種類の解析値とを入力データとし、前記第二の時間より後の第三の時間に前記被検眼を撮影して得た断層画像を解析して得た複数種類の解析値を教師データとする学習データを用いて得られる学習済モデル。
22. 第一の時間に被検眼を撮影して得た断層画像と、前記第一の時間より後の第二の時間に前記被検眼を撮影して得た断層画像とを入力データとし、前記第二の時間より後の第三の時間に前記被検眼を撮影して得た断層画像を教師データとする学習データを用いて得られる学習済モデル。
23. 被検眼の複数種類の解析値を含む断層に関するデータであって、第一の時間に関連付いた前記被検眼の第一の断層に関するデータと、前記第一の時間より後の第二の時間に関連付いた前記被検眼の第二の断層に関するデータと、を取得する工程と、
    学習済モデルを用いて、前記取得された第一の断層に関するデータと前記取得された第二の断層に関するデータとから、前記第二の時間より後の第三の時間における前記被検眼の複数種類の解析値の少なくとも一つを生成する工程と、
    を含むことを特徴とする画像処理方法。
24. 被検眼を撮影して得た断層画像を含む断層に関するデータであって、第一の時間に関連付いた前記被検眼の第一の断層に関するデータと、前記第一の時間より後の第二の時間に関連付いた前記被検眼の第二の断層に関するデータと、を取得する工程と、
    学習済モデルを用いて、前記取得された第一の断層に関するデータと前記取得された第二の断層に関するデータとから、前記第二の時間より後の第三の時間における前記被検眼の複数種類の解析値の少なくとも一つを生成する工程と、
    を含むことを特徴とする画像処理方法。
25. 第一の時間および前記第一の時間よりも後の第二の時間の少なくともいずれかにおいて治療が施された被検眼であって、前記第一の時間に関連付いた前記被検眼の第一の計測データと、前記第二の時間に関連付いた前記被検眼の第二の計測データと、前記第一の時間および前記第二の時間の少なくともいずれかと関連付けられた、前記被検眼の状態に関する評価情報と、を取得する工程と、
    学習済モデルを用いて、前記治療に関する情報、前記第一の計測データ、前記第二の計測データ、および前記評価情報から、前記第二の時間より後の第三の時間における前記被検眼の状態に関する評価情報を生成する工程と、
    含むことを特徴とする画像処理方法。
26. プロセッサーによって実行されると、該プロセッサーに請求項２３乃至２５のいずれか１項に記載の画像処理方法の各工程を実行させる、プログラム。

Images