以下、本明細書に開示される技術を実施するための例示的な実施例を、図面を参照して説明する。なお、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本明細書に開示される技術が適用される装置の構成又は様々な条件に応じて変更できる。
例えば、実施例に記載のSD-OCTによって取得される断層画像の深さ方向の寸法は2mmで記載されているが、2mmに限定されない。また、実施例内で扱われる断層画像の被検眼における深さ方向の長さ(撮影深度)は、眼科検査装置の種別ごとに固定である場合を説明するが、1つの眼科検査装置によって複数の撮影深度で断層画像の取得ができる構成であってもよい。
また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。また、各図面において説明上重要ではない構成要素、部材、処理の一部は省略して表示する場合がある。
<実施例1>
図1から図7を参照して、本実施例の眼科システム10について説明する。眼科システム10は、取得した断層画像の被検眼における深さ方向の長さと、断層画像を取得した断層画像撮影装置の種別とのいずれかに応じて、異なるスケールを適用して断層画像を表示することができる。
ここで、深さ方向が長い断層画像又はSS-OCTによって取得された断層画像が選択された場合、断層画像の深さ方向における一部の領域のみ、すなわち部分画像を表示領域に合わせるように表示させるスケールで表示される。取得されたままの断層画像よりも深さ方向が短い部分画像を表示することで、断層画像が深さ方向につぶされることがなく、注目領域を視認しやすくすることができる。
断層画像撮影装置であるOCTによって取得される断層画像の深さ方向の長さ(撮影深度)は、被検眼に照射される測定光の性質と、干渉光を受光するセンサの性質とに依存する。取得される断層画像の深さ方向の長さを変更するためには、光源の変更やサンプリング速度の変更などの光学系の構成の煩雑な変更及び調整が必要であるため、深さ方向の長さは変更不可である場合がある。本実施例では、取得した断層画像を後処理することによって、光学系の構成の煩雑な変更及び調整をすることなく注目領域を視認しやすく表示させることができる。
(システムの構成)
図1を参照して、眼科システム10の構成の一例を説明する。図1は本実施例に係る眼科システム10の構成を示す図である。図1に示すように、眼科システム10は、情報処理装置の一例である眼科制御装置110が、インターフェースを介して断層画像撮影装置100(OCTとも呼ばれる)、記憶部120、入力部130、表示部140と通信可能に接続されたシステムである。
断層画像撮影装置100は、被検眼の断層画像を撮影する装置であり、測定光学系101、ステージ部102及びベース部103を備える。断層画像撮影装置100として、波長掃引光源を用いて測定光が照射された被検眼からの戻り光と参照光とを合波して得た干渉光を用いて断層画像を取得する眼科検査装置であるSS-OCTを説明する。
なお、後述するように眼科制御装置110は、眼科検査装置の別の一例であるSD-OCTと接続可能に構成されてもよい。SD-OCTは分光器を介して干渉光を検出する。
測定光学系101は前眼観察像、被検眼のSLO眼底像、断層画像を取得するための光学系である。ステージ部102は、測定光学系101を前後左右に移動可能にする。
眼科制御装置110は、ステージ部102の制御、アライメント動作の制御、断層画像の再構成、画像の表示などを実行するコンピュータである。記憶部120は、断層撮像用のプログラム(撮影パターンなど)、患者情報、過去検査の撮影データや画像データ、計測データなどを記憶する。
入力部130はコンピュータへの指示を行い、具体的にはキーボードとマウスから構成される。表示部140は、例えばモニターから成る。なおタッチパネルを使用する場合は、入力部130の一部または全てが表示部140に内蔵される。
(断層画像撮影装置の構成)
本実施例の断層画像撮影装置100における測定光学系の構成について図2を用いて説明する。ここでは、SS-OCTの構成を例に説明する。
まず、測定光学系101の内部について説明する。断層画像撮影装置100は、射出される光の周波数が掃引される波長掃引光源211と、干渉光を生成するOCT干渉部220と、干渉光を検出する検出部230と、干渉光に基づいて、被検体200の眼底の情報を取得する眼科制御装置110とを有している。さらに、断層画像撮影装置100は、測定アーム250と参照アーム260を有している。
なお、断層画像撮影装置100は走査型検眼鏡(Scanning Laser Ophthalmoscope:以下、SLO)用の光源212を備え、眼底からの反射光を得るためのSLO光学系280、前眼部撮影部290を有する構成であってもよい。また、断層画像撮影装置100は、眼底を可視光によって照明し眼底正面画像を取得する眼底カメラの機能を有していてもよい。
なお、本実施例では被検体200が人眼である例を説明するが、これに限るものではない。
OCT干渉部220は、カプラ221、222を有している。まず、カプラ221は、波長掃引光源211から射出された光を眼底へ照射する測定光と参照光とに分岐する。この実施例において、分岐比は2:8程度であり、測定光:参照光=2:8とする。
測定光は、測定アーム250を経由して被検体200である眼底に照射される。より具体的には、測定アーム250に入射した照射光は、偏光コントローラ251で偏光状態を整えられた後、コリメータ252から空間光として射出される。その後、照射光は、X走査スキャナー253、レンズ254、255、Y走査スキャナー256、ダイクロイックミラー273、レンズ257、フォーカスステージ259に固定されたフォーカスレンズ258、対物レンズ276を介して被検体200の眼底に照射される。
なお、X走査スキャナー253、Y走査スキャナー256は眼底を照射光で走査する機能を有する走査手段である。走査手段によって、測定光の眼底への照射位置が変えられる。また、ダイクロイックミラー103は、波長1000nm~1100nmの光を反射し、それ以外の光を透過する特性を有する。
そして、眼底からの後方散乱光(反射光)は、再び上述の光学経路をたどり測定アーム250から射出される。そして、カプラ221を経由してカプラ222に入射する。前記の分岐比に従い、眼底からの戻り光の8割がカプラ222に導かれる。
一方、参照光は参照アーム260を経由し、カプラ222に入射する。より具体的には、参照アーム260に入射した参照光は、偏光コントローラ261で偏光状態を整えられた後、コリメータ262から空間光として射出される。その後、参照光は分散補償ガラス263、光路長調整光学系264、分散調整プリズムペア265を通り、コリメータレンズ266を介して光ファイバーに入射され、参照アーム260から射出されてカプラ222に入射する。
カプラ222で測定アーム250を経由した被検体200の反射光と参照アーム260を通った光とが合波され干渉する。そして、その干渉光を検出部230で検出する。検出部230は、差動検出器231とA/D変換器232を有している。まず、検出部230では、カプラ222で干渉光を発生させた後すぐに分波された干渉光を差動検出器231で検出する。
そして、差動検出器231で電気信号に変換されたOCT干渉信号をA/D変換器232でデジタル信号に変換している。ここで、図2の断層画像撮影装置100では、干渉光のサンプリングは、波長掃引光源211の中に組み込まれたkクロック発生部が発信するkクロック信号に基づいて等光周波数(等波数)間隔に行われる。A/D変換器232が出力したデジタル信号は眼科制御装置110に送られる。
以上は、被検体200のある1点における断層に関する情報の取得のプロセスであり、このように被検体の奥行き方向の断層に関する情報を取得することをA-scanと呼ぶ。また、A-scanと直交する方向で被検体の断層に関する情報、すなわち2次元画像を取得するための走査方向をB-scan、更にA-scan、及びB-scanのいずれの走査方向とも直交する方向に走査することをC-scanと呼ぶ。
また、3次元断層像を取得する際に眼底面内に2次元ラスター走査する場合、高速な走査方向がB-scan、B-scanをその直交方向に並べて走査する低速な走査方向をC-scanと呼ぶ。A-scan及びB-scanを行うことで2次元の断層像が得られ、A-scan、B-scan及びC-scanを行うことで、3次元の断層像を得ることができる。B-scan、C-scanは、上述したX走査スキャナー253、Y走査スキャナー256により行われる。
なお、X走査スキャナー253、Y走査スキャナー256は、それぞれ回転軸が互いに直交するよう配置された偏向ミラーで構成されている。X走査スキャナー253は、X軸方向の走査を行い、Y走査スキャナー256は、Y軸方向の走査を行う。X軸方向、Y軸方向の各方向は、眼球の眼軸方向に対して垂直な方向で、互いに垂直な方向である。また、B-scan、C-scanのようなライン走査方向と、X軸方向またはY軸方向とは、一致していなくてもよい。このため、B-scan、C-scanのライン走査方向は、取得したい2次元の断層像あるいは3次元の断層像に応じて、適宜決めることができる。
SLO光源212から射出された光はSLO光学系280を介して眼底へ照射される。より具体的にはSLO光学系280に入射した光は、コリメータ281から平行光として空間へ射出される。その後、穴あきミラー271の穴あき部を通過し、レンズ282を介し、X走査スキャナー283、レンズ284、285、Y走査スキャナー286を介し、ダイクロイックミラー272に到達する。
なお、X走査スキャナー283、Y走査スキャナー286は、SLO用の走査手段の一例であり、共通のXY走査スキャナーとしてOCT用のX走査スキャナー253、Y走査スキャナー256の構成としても良い。ダイクロイックミラー272は、760nm~800nmを反射し、それ以外の光を透過する特性を有する。ダイクロイックミラー272にて反射された光は、OCTと同様の光路を経由し、被検体200の眼底に到達する。
眼底に照射された測定光は、眼底で反射・散乱され、上述の光学経路をたどり穴あきミラー271に達する。穴あきミラー271で反射された光が、レンズ287を介し、アバランシェフォトダイオード(以下、APD)288で受光され、電気信号に変換されて、コンピュータ110に送られる。
ここで、穴あきミラー271の位置は、被検眼の瞳孔位置と共役となっており、眼底に照射された測定光が反射・散乱された光のうち、瞳孔周辺部を通った光が、穴あきミラー271によって反射される。
前眼部撮影部290は、波長860nmの照明光を発するLEDから成る照明光源295により前眼部を照明する。前眼部で反射された光は、対物レンズ276を介してダイクロイックミラー275に達する。ダイクロイックミラー275は、820nm~920nmの光を反射し、それ以外の光を透過する特性を有する。ダイクロイックミラー105で反射された光は、レンズ291、292、293を介し、前眼部カメラ294で受光される。前眼部カメラ294で受光された光は電気信号に変換され、眼科制御装置110で受ける。
内部固視灯225は、内部固視灯用表示部226、レンズ227で構成される。内部固視灯用表示部226として複数の発光ダイオード(LD)がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、撮影したい部位に合わせて変更される。内部固視灯用表示部226からの光は、レンズ227を介し、被検眼に導かれる。内部固視灯用表示部226から射出される光は520nmで、設定した所望のパターンが表示される。
眼科制御装置110はデジタル信号に変換した干渉信号を信号処理することで、断層画像を取得する。さらに、モーションコントラストデータを解析することで血管造影画像を取得してもよい。同様に、眼科制御装置110は、APD288から送られてくるデジタル信号に変換されたSLOの眼底信号を処理し、SLO画像を計算する。また、前眼部カメラ294から送られてくる信号を処理し、前眼部画像を構成する。
続いて、信号処理の結果得られた眼底および前眼部の情報が表示部140によって表示される。
ここではSS-OCTを例に断層画像撮影装置100の光学系を説明したが、SD-OCTなど他の構成の断層画像撮影装置を用いることも可能である。
(断層画像の表示)
次に図3を参照して、深さ方向の長さが異なる断層画像を同じ大きさの表示領域に配置することによる、表示上の見え方の違いを説明する。図3は異なる種別の断層画像撮影装置であるSD-OCTとSS-OCTとから得られるそれぞれの断層画像と、それぞれの断層画像全体を同じ大きさの表示領域に表示したときの画像との表示の例を示す。
図3(a)は、SD-OCTで被検眼200の眼底を撮影した断層画像300であり、断層画像300には網膜層301が映し出される。正常眼では一般的に、SD-OCTで取得された断層画像には、網膜色素上皮以下の脈絡部分からの戻り光が減衰して脈絡膜部分の途中部分302までが描出された画像となる。
図3(c)は、SS-OCTによって被検眼200の眼底を撮影した断層画像320である。高深さ範囲で断層画像を取得可能なSS-OCTで撮影することで、断層画像320に網膜及び脈絡膜を含む領域321を映し出すことが可能である。
断層画像300又は320が表示部に表示される場合、選択されたスケールに基づいて画像の大きさが変更される。例えば、深さ方向と横方向の1ピクセルの長さが同じになるスケール(Realスケール)や、表示領域に合わせるように画像の深さ方向と横方向とをそれぞれ拡大・縮小し表示するスケール(Fitスケール)など、選択されるスケールの種類に合わせて画像の縦横比を変更されてもよい。
Fitスケールで断層画像300と320とを同じ大きさの表示領域に表示した場合、元の画像の縦横比の違いのため表示される網膜の見え方が異なってしまう。図3(b)はSD-OCTによって取得される断層画像を表示した断層画像310である。一方、図3(d)に示されるように、SS-OCTによって取得される断層画像を表示した断層画像330では、深さ方向につぶされて注目領域の1つである網膜部分の視認性が低下する。
(眼科制御装置の構成)
次に図4を参照して、情報処理装置の一例である眼科制御装置110の構成を説明する。図4は眼科制御装置110の構成を概略的に示す。眼科制御装置110は断層画像撮影装置100及び入力部130、表示部140と接続されており、撮影制御部410、画像取得部420、記憶部120、表示制御部430が設けられている。
情報処理装置の一例である眼科制御装置110は、例えば、パーソナルコンピュータ、タブレット端末、携帯端末などのいずれかであってよい。また、眼科検査装置が本明細書に開示される情報処理装置の機能を実現する構成であってもよい。開示される情報処理装置の機能が、情報処理装置と眼科検査装置とを含む複数の装置が通信可能に接続された眼科システムによって実現されてもよい。なお、情報処理装置は眼科検査装置に専用の情報処理装置に限らず、例えばCTやMRIなどの眼科以外の検査装置と接続可能であってもよい。
撮影制御部410は、断層画像撮影装置100を制御することで、撮影アライメントの調整や撮影の実施、撮影された前眼観察像・SLO眼底像や断層画像の信号データの取得などを行う。また、撮影された断層画像の撮影パターン、撮影アライメントパラメータ、SLO眼底像などを記憶部120に格納する。
さらに撮影制御部410は、画像取得部420を介して断層画像撮影装置100により撮影された断層画像の信号データから信号処理により断層画像を生成し、記憶部120に格納する。なお、撮影アライメント時に取得する信号データは記憶部120には格納せずプレビュー画像として表示制御部410に送られる。
また画像取得部420は撮影されたデータがOCTA方式の撮影パターンの場合は、同一位置を走査した断層画像からモーションコントラスト画像を生成し、生成した断層画像と共に記憶部120に格納する。また、画像取得部420は、取得した断層画像の層境界を解析して解析結果も断層画像と共に記憶部120に保存する。
表示制御部430は、撮影画像装置100から撮影制御部410を介して取得した、撮影アライメントを行うための前眼観察像やSLO眼底像、断層画像のプレビュー表示や取得された断層画像、SLO眼底像を、表示部140に表示させる。ここで、表示部140は、例えばディスプレイやプロジェクターなどのいずれかであってよい。なお、表示部140は眼科制御装置110と直接接続されていなくてもよく、例えば、眼科システムに含まれるいずれかの情報処理装置と有線又は無線の通信接続によって接続可能に構成されていればよい。
また、表示制御部430は、ユーザが入力部130を介して入力された内容に基づいて表示部140の表示変更や撮影制御部410への指示を行う。入力部130は、例えば、マウスやキーボード、タッチペンなどの少なくともいずれかである。また、入力部130と表示部140の両方の機能を備えるタッチパネルディスプレイを用いる構成であってもよい。
さらに、表示制御部430は、記憶部120に保存された断層画像やSLO眼底像のいずれかをユーザが入力部130によって選択する指示に応じて、選択された画像を表示部140に表示する。
記憶部120は、患者情報(患者の氏名、年齢、性別など)と、撮影した断層画像撮影装置110の装置情報(機種の名前、OCTの種別など)を保持する。さらに記憶部120は、撮影した断層画像やモーションコントラスト画像、SLO画像、撮影パターン情報(左右眼、撮影サイズ、撮影形式、X軸方向のスキャン数、Y軸方向のスキャン数、同一位置の繰り返し走査回数など)、撮影アライメントパラメータ情報(固視灯位置、撮影位置、SLOとOCTのフォーカス値、C-Gate位置など)やユーザが設定したパラメータ(輝度コントラスト調整値、写損の判定など)を保持する。
また、取得手段の一例である画像取得部420が取得する画像は、撮影制御部410によって取得される画像だけでなく、システムの外部に保存されているデータを取り込んだものも含まれる。その場合は画像だけではなく、被検眼の情報、装置情報、撮影パターン情報、撮影アライメントパラメータ情報、ユーザが設定したパラメータ全ての情報及び解析結果も一緒に取得され、記憶部120で記憶される。なお、取り込んだデータの状態が古い場合や解析結果に破損がある場合などは、古い情報の更新や取り込んだ眼科システム10が持つ解析内容での再解析をして、記憶部120に記憶させる。
(本実施例に係る表示画面及び拡大表示画面)
図5と図6を参照して、本実施例の表示制御部430が断層画像をレポートとして表示部140に表示させる際の表示について説明する。図5は、レポートの一例である表示画面500であり、記憶部120に保存された断層画像と断層画像に付随する情報とを表示する。
ここで、断層画像に付随する情報として、測定光を走査するスキャンモードと、左右眼と、検査日時と、患者情報との少なくとも一つを表示させてもよい。表示部に表示させる情報が多く断層画像を表示させる表示領域が限られる場合においても、断層画像の深さ方向の長さに応じてスケールを変更することで、注目領域を視認しやすくすることができる。
また、表示画面500は、不図示の患者画面で患者を選択する指示に応じて、選択された患者の被検眼の断層画像を表示してもよい。
図6は、拡大表示画面600であり、断層画像の1つを拡大表示する。拡大表示画面600は、表示画面500で表示された断層画像の1つから拡大表示画面600に遷移することで表示される。
表示画面500は検査選択リスト表示領域510と選択検査内容表示領域520を持つ。検査選択リスト表示領域510では、記憶部120に保存されている検査データが、1撮影を1検査としてリスト状に並べられる。検査は検査日時、撮影機種、左右眼の単位でグルーピングされ、グルーピングされた中の検査は検査日時のうち撮影時間順に並べられる。このとき、検査日時のうち撮影日は降順で撮影時間は昇順で並べられる。
また、検査選択リスト表示領域510は他にも撮影パターンごとにグルーピングする表示に切り替えることもできる。検査選択リスト表示領域510内に表示された検査から1つを選択検査511としてユーザが選択することで、選択検査511の断層画像、撮影パターン情報などの検査情報が記憶部120から読みだされて、選択検査内容表示領域520に表示される。
選択検査内容表示領域520では、1検査表示、左右眼表示、過去検査比較などの目的別の検査表示レイアウトが指定でき、選択されている検査表示レイアウトに応じた画像および検査情報が表示される。選択検査内容表示領域520では画像を表示する領域としてSLO眼底像表示領域521や断層画像表示領域522がある。
SLO眼底像表示領域521には、選択検査511のSLO画像が表示され、断層画像表示領域522で表示される断層画像の位置や方向がSLO画像上に示される。断層画像表示領域522は、選択検査511の断層画像の少なくとも1つが表示でき、SLO眼底像表示領域521で示した位置と方向に対応した断層画像が表示される。また、断層画像表示領域522上には断層画像の深さ方向とX軸方向それぞれの実寸を示すスケールが表示される。
なお、眼底上の特定の領域内を等間隔にスキャンすることで行われる3D撮影など複数の断層画像を扱う検査では、総断層画像数と表示されている断層画像が何枚目かを示す数字が断層画像表示領域522上に表示される。この場合、断層画像はSLO眼底像表示領域521や断層画像表示領域522上のマウススクロールやマウスクリックなどで表示する断層画像を変更できる。表示する断層画像を変更する指示に応じて、SLO眼底像表示領域521上で示される断層画像の位置及び断層画像表示領域522上で示される何枚目の断層画像かを示す数字が変更される。
拡大表示画面600は、断層画像表示領域522においてダブルクリック、不図示の右クリックメニューまたは不図示の拡大用ボタンといった拡大画面の表示操作によって表示される。拡大表示画面600は拡大断層画像表示領域610と断層画像操作領域620を持つ。
拡大断層画像表示領域610は断層画像表示領域522よりも広い領域を持ち、断層画像表示領域522に表示されていた断層画像が表示される。断層画像操作領域620は、断層画像スケール選択領域621を持ち、拡大断層画像表示領域610の断層画像のスケールを変更することができる。拡大表示画面600が表示された時のスケールは断層画像表示領域522の拡大画面表示操作を行った時と同じ縦横比(Defaultスケール)で表示され、断層画像スケール選択領域621で選択したスケールに応じて拡大断層画像表示領域610に表示される断層画像が変更される。
(本実施例に係るSS-OCTで撮影された断層画像の表示フロー)
次に図7を参照して本実施例に係るSS-OCTで撮影された断層画像を表示するフローについて説明する。図7は本実施例に係る断層画像表示のための動作のフローチャートを示す。
SS-OCTで撮影された深さ方向が長い断層画像を同じ表示領域に合わせるように表示させた場合、SD-OCTで撮影された深さ方向の短い断層画像と比べると網膜部分が薄く表示される。そこで、断層画像を撮影した断層画像撮影装置100の種別と断層画像の深さ方向の長さとのいずれかに応じて、表示制御部430がスケールを変更することにより、深さ方向の長さが異なる断層画像を取得した場合でも視認性の高い断層画像を断層画像表示領域522に表示する。
具体的には、ステップS701で、ユーザは表示画面500に表示させる対象の検査を選択し、表示制御部430は記憶部120から選択された検査で取得された断層画像を読み込む。このとき、断層画像が撮影された断層画像撮影装置100の装置情報や撮影パターン情報も記憶部120から取得する。
ステップS702では、表示制御部430がステップS701で同時に取得した装置情報から、SD-OCTやSS-OCTといった断層画像を撮影した断層画像撮影装置100の種別を確認する。
ステップS703では、ステップS702で確認した断層画像撮影装置100の種別に基づいて、表示制御部430が断層画像を表示するスケールを決定する。ここでは断層画像撮影装置100の種別がSD-OCTだった場合は、断層画像表示領域522に断層画像全体を合わせるように表示するFitスケールが選択される。断層画像撮影装置100の種別がSS-OCTだった場合は、断層画像全体を表示させるのではなく、SD-OCTのFitスケール時の深さ方向の長さである2mmと同じ長さの部分画像を断層画像表示領域522に合わせるように表示する、2mm Depthスケールが選択される。
なお、取得された断層画像の深さ方向の長さをステップS702において確認し、ステップS703において断層画像の深さ方向の長さに応じて断層画像を表示させるスケールを決定してもよい。このとき、断層画像の深さ方向の長さが所定の長さ、例えば2mm以下である場合は断層画像全体を断層画像表示領域522に合わせるように表示させる。また、断層画像の深さ方向の長さが所定の長さ、例えば2mmより長い場合はもとの断層画像よりも深さ方向の長さが短い部分画像を断層画像表示領域522に合わせるように表示させる。
ここで、断層画像を表示させるスケールを切り替える深さ方向の長さの基準として、一般的なSD-OCTで撮影される断層画像の深さ範囲の長さである2mmを説明したが、これに限られない。また、上述のスケールの設定はデフォルトで行いユーザの操作によって後からスケールを変更する構成や、ユーザがスケールを予め設定可能な構成にしてもよい。
ステップS704では、表示制御部430がステップS702で読み込んだ断層画像の横方向及び深さ方向それぞれの実寸長を取得する。横の実寸は撮影パターン情報の撮影サイズから取得し、深さ方向の実寸は装置情報と共に保存されている場合は装置情報から取得しても、ステップS702で確認した断層画像撮影装置100の種別から固定の値として割り当ててもよい。また、断層画像のオリジナルサイズで1ピクセルが示す実寸長及び断層画像のピクセル数を画像情報として取得して算出してもよい。
ステップS705では、表示制御部430が断層画像表示領域522のサイズを確認する。
ステップS706では、表示制御部430がステップS703からステップS705までで確認したスケール、断層画像の実寸長と表示領域のサイズから、断層画像の横方向及び深さ方向それぞれで拡大縮小倍率を算出する。Fitスケールの場合は、式1のようにそれぞれの倍率Rx、Rzを求める。
ここで、Tx、Tzは記憶部120に保存されているオリジナルの断層画像の横方向及び深さ方向のピクセル数を示している。また、Ax、Azは断層画像表示領域522の縦横のピクセル数を示している。2mm Depthスケールの場合は、式2のように深さ方向で2mmのピクセル数が表示領域のピクセル数になるように倍率Rx、Rzを求める。
ここで、Tx、TzとAx、Azは式1と同様にオリジナルの断層画像の横方向及び深さ方向のピクセル数と断層画像表示領域522の横方向及び深さ方向のピクセル数を示す。StzはステップS704で求めた断層画像の深さ方向の実寸長を示す。Sazは断層画像表示領域522で表示する実寸長を示し、ここでは2mmとなる。
ここで、Rzが1以上の場合には、断層画像の深さ方向が拡大される。深さ方向が拡大される場合、断層画像のうち表示領域に入らない部分が生じる。このため、部分画像が対応する断層画像の位置を移動し、移動した先の部分画像に表示を更新させるための指示を受け付けるスクロールバーを設ける。断層画像表示領域522内にスクロールバーが表示される場合、Axはスクロールバー分のピクセル数を除いた値で算出する。なお、スクロールバーを設けずに、断層画像の表示領域に入らない部分をトリミングする構成にしてもよい。
ステップS707では、表示制御部430がS706で求めた倍率で拡大・縮小された断層画像を生成する。ニアレストネイバー法やバイリニア法、バイキュービック法、機械学習による超解像などによって補間を行うことで、拡大・縮小された断層画像が生成される。
ステップS708では、S706で求めた倍率が1以上の場合、表示領域に表示される部分画像の被検眼における位置を決定する。デフォルト位置として断層画像のうち中央が部分画像として表示される位置を指定することが望ましい。また、断層画像を解析することにより層境界が求められている場合、網膜が部分画像の中央部に表示されるように位置を指定してもよい。
なお、3D撮影で撮影された断層画像の場合は断層画像毎で網膜の位置が異なるため、中央にあたる断層画像又は黄斑中心や乳頭中心を通る断層画像の網膜が中央部に来る位置を指定してもよい。また、断層画像毎に網膜が中央部に配置される位置を指定してもよい。さらに、断層画像内でも網膜の高さが異なるため、網膜の最も低い部分が中央となる位置ではなく断層画像表示領域522の底部よりも少し上に位置するよう指定することで、断層画像内の網膜全体が断層画像表示領域522内に表示できる。
ステップS709では、表示制御部430が断層画像表示領域522内に、ステップS707で生成した断層画像をステップS708で指定した位置で表示する。このとき、断層画像表示領域522に表示される断層画像の被検眼における深さ方向の位置をユーザの指示に応じて変更可能なようにスクロールバーを表示させてもよい。すなわち、スクロールバーを操作することで、部分画像として表示される被検眼の位置をデフォルト位置から変更し、部分画像の表示を異なる部分画像の表示に更新する構成であってもよい。
上述した本実施例によれば、例えばSS-OCTで撮影された、深さ方向に長い断層画像を表示領域に表示させる場合においても注目領域を視認しやすくなる。また、網膜部分を大きく見せるために、ユーザが操作して断層画像のスケールを変更したり拡大表示画面600を表示したりする必要がなくなり、ユーザビリティが向上する。
なお、SD-OCTで撮影された断層画像を拡大表示画面600の拡大断層画像表示領域610上でFitスケール表示することで、断層画像を大きく表示する場合がある。SS-OCTで撮影された断層画像で同様の表示を行う場合においても、断層画像スケール選択領域621の2mm Depthスケールを選択することで、図6(b)のように、SD-OCTのFitスケール表示と同じ見た目で表示することができる。
また、S702からS703では断層画像撮影装置100の種別から表示スケールを設定したが、予め検査毎に指定の初期表示スケールを紐づけておき、その情報を使用してスケールを決定することもできる。例えば、撮影パターンを作成する際に、検査の情報として初期表示スケールが設定できるようにすることで紐づけることができる。
断層画像撮影装置100がSS-OCTなどの広画角・高深達の断層画像を撮影する種別だった場合にのみ2mm Depthスケールが設定することができるようにしてもよい。また、狭画角の撮影パターンの時は2mm Depthを初期状態にすることで、撮影する前に狭画角と広画角の撮影毎で表示を含めた検査条件を設定することができる。
なお、検査毎ではなく断層画像を表示するに狭画角の断層画像の時、自動的に2mm Depthスケールが設定されてもよい。この場合、予め設定された撮影画角以下のものを狭画角断層画像と指定することで切り替えることができる。
また、断層画像撮影装置100の種別に関わらず、表示制御部430が取得した断層画像の深さ方向の長さに応じてスケールを設定する構成であってもよい。例えば、断層画像の深さ方向の長さが一定の長さより長い場合、断層画像の一部の領域のみを表示させ、断層画像の深さ方向の長さが一定の長さ以下である場合、断層画像の全体を表示させてもよい。具体的には、断層画像の深さ方向の長さが2mmを超える場合は、深さ方向の長さが2mmの領域のみを表示させ、断層画像の深さ方向の長さが2mm以下である場合は、断層画像の全体を表示させてもよい。なお、表示スケールを切り替える境界は適宜設定できる。
加えて、本実施例ではステップS704で深さ方向の長さを取得し、ステップS706でその長さを用いて倍率を求めたが、表示上の1ピクセル当たりの実寸サイズが同じになるよう揃える方法であればこれに限らない。例えば、各断層画像撮影装置の撮影深度が無い場合でも、1ピクセル同士の大きさの比率が求められる場合は、式2のSta/Stzに比率を置き換えることで、倍率を求めることができる。
今回は、狭画角で撮影された検査で表示する場合に、2mm Depthスケールで表示する方法を述べたが、広画角撮影時でも2mm Depthスケールでの表示ができてよい。その場合、深さ方向だけでなくX軸方向もSD-OCTの画角に合わせたスケールに拡大表示する構成にしてもよい。広画角の俯瞰的な断層画像の表示と狭画角の従来と同様のSD-OCTと同じ断層画像の表示両方を切り替えて表示することで診断効率が向上する。
さらに、実施例内では撮影深度が長い断層画像撮影装置の種別をSS-OCT、撮影深度が短い断層画像撮影装置の種別をSD-OCTで記載したが、撮影深度が長いSD-OCTと撮影深度が短いSD-OCTとを用いてもよい。
<実施例2>
本実施例では、複数の検査を同時に表示可能な構成において、比較先の検査を撮影した断層画像撮影装置100の種別が異なる場合に比較元の検査に応じたスケールを決定する例について説明する。表示される複数の検査として、検査選択リスト表示領域510で選択した選択検査511以外にも、選択検査511との比較対象として選択される検査がある。その場合、比較する検査が異なる種別の断層画像撮影装置100によって行われたものであっても、断層画像の見え方は同じであることが望ましい。
なお、本実施例では、異なる種別の断層画像撮影装置で撮影された複数の断層画像の表示においても、断層構造の縦横比が似た状態で表示されることを同じ見た目であると表現するが、厳密に同じ見た目でなくてもよく、目視による断層構造の比較が行いやすい状態であればよい。
(本実施例に係る断層画像比較表示画面)
図8を参照して本実施例の表示制御部430が表示する複数の異なる検査を並べて表示する画面の例を説明する。図8は記憶部120に保存されている断層画像を含む検査を2つ並べて表示する断層画像比較表示画面800である。
断層画像表示画面800は表示画面500と同様に検査選択リスト表示領域810と選択検査内容表示領域820を持ち、検査選択リスト表示領域810から選択検査811を選び、選択検査内容表示領域820に表示させる。なお、記憶部120に保存された検査に複数種別の断層画像撮影装置100で撮影した検査が混ざっている場合は、断層画像撮影装置100の種別や機種名、もしくは種別や機種名を示すアイコンや記号を表示してもよい。
検査選択リスト表示領域810に表示する選択検査内容表示領域820では、左右眼比較や過去検査比較などの比較レポートを指定することで、複数の検査を表示することができる。比較レポートには選択検査表示領域823と比較先検査表示領域822を表示することができ、それぞれで撮影日時、左右眼、断層画像撮影装置100の種別などの検査情報、SLO眼底画像、断層画像を表示することができる。
選択検査表示領域823には検査選択リスト表示領域810から選択した選択検査811の検査情報と画像が表示される。比較先検査表示領域822では、過去に撮影された同一の撮影パターンの検査が表示される。比較対象とする検査はユーザによって指定することができ、比較検査選択ボタン821を選択することで、不図示の比較対象検査選択画面から1つ以上の過去検査を指定することで、比較先検査表示領域822に並べて表示することができる。なお、初期表示として選択検査811に最も近い過去の同一撮影パターン検査を自動的に表示してもよい。
(本実施例に係る異なる断層画像撮影装置で撮影された比較先画像の表示フロー)
図9を参照して本実施例に係る比較先画像がSS-OCTの断層画像で、比較元画像がSD-OCTの断層画像として、断層画像を並べて表示する場合の断層画像の表示フローについて説明する。図9は本実施例に係る比較先断層画像表示のための動作のフローチャートを示す。
異なる断層画像撮影装置100の種別で撮影した断層画像を並べて表示する場合、同一の撮影パターンで撮影しても、深さ方向となる縦の解像度や撮影される断層画像の実寸長が異なるため、深さ方向には異なる厚みで断層画像が表示される。そのため、表示制御部430は比較元と比較先の断層画像撮影装置100の種別及び比較元のスケールに合わせて比較先の断層画像のスケールを設定することで、断層画像撮影装置100の種別が異なる場合でも同じ見た目で断層画像を並べて表示する。
具体的には、ステップS901で表示制御部430はユーザが選択した検査または初期表示の比較先検査として選ばれた検査の断層画像及び検査情報を記憶部120から取得する。ステップS902で、表示制御部430は比較元となる選択検査811とステップS901で選択した比較先検査の断層画像撮影装置100の種別を確認する。
ステップS903で、表示制御部430はS902で確認した種別と比較元の断層画像が表示しているスケールを元に比較先検査の断層画像のスケールを決定する。比較元検査と比較先検査で同じ断層画像撮影装置100の種別だった場合は、同一のスケールを選択する。比較元検査と比較先検査で異なる断層画像撮影装置100の種別だった場合は、比較元検査のスケールに応じて、比較先検査と比較元検査の断層画像の1ピクセルの実寸長が縦横それぞれで同じになるようにスケールを決定する。
例えば、比較元検査がSD-OCTで撮影された検査で断層画像がFitスケールで表示されている時に、比較先検査がSS-OCTで撮影された検査の場合は、断層画像表示領域がSD-OCTの深さ方向の長さと同じ長さになる2mm Depthスケールを選択する。また、比較元検査がSS-OCTで撮影された検査で断層画像が2mm Depthスケールで表示されている時に、比較先検査がSD-OCTの場合はFitスケールで選択し、比較元検査のSS-OCTの断層画像がFitスケールで表示されている時は、比較先検査のSD-OCTの断層画像は5mm Depthスケールが選択される。
ステップS904からステップS909にかけて、ステップS903で設定したスケールで比較先検査の断層画像を比較先検査表示領域822に表示する。表示方法はステップS704からステップS709と同じである。なお、ステップS908のスクロールバーの位置においては、比較元検査の断層画像の層境界の情報をもとに、同じ位置になるように設定してもよい。
上述した本実施例によれば、断層画像撮影装置100の種別が異なる断層画像を比較表示する際に、複数の断層画像を同じ見た目で表示することができる。これにより、ユーザ操作することで表示を調整することなく、断層画像撮影装置100の種別の異なる複数の断層画像を同じ見た目で観察ができ非常に好ましかった。
なおここでは、撮影サイズが同じ場合に限定したがこれに限らない。撮影サイズが異なる検査が選択された場合でも、ステップS906からステップS908で、断層画像の横方向も式2の深さ方向と同様の拡大縮小率を算出して断層画像をリスケールし、比較元の断層画像と同じ位置になるようにスクロールバーの位置を決定することで、同じ見た目で表示することができる。
また、本実施例では比較先の検査を表示する時のフローについて述べたが、比較元の表示スケールを変更した場合でも、スケールの種別を変更後のスケールでステップS902からステップS909を行うことで、比較先の断層画像の表示を同じ見た目にすることができる。さらには、比較先の表示スケールを変更した場合も、ステップS902からステップS909のフローを比較元と比較先を入れ替えて実施することで、比較元の断層画像の表示を同じ見た目にすることができる。
加えて、本実施例では断層画像撮影装置の種別が異なる断層画像として、SS-OCTとSD-OCTの断層画像の比較を記載したが、これに限らない。SD-OCTの中でも、長い撮影深度のSD-OCTと短い撮影深度のSD-OCTそれぞれの断層画像を並べて表示する場合も、それぞれの撮影深度と比較元の断層画像の表示スケールの種別をもとに、比較先の断層画像のスケールを選定することで、複数の断層画像を同じ見た目で表示することができる。
<実施例3>
本実施例では、広画角で高深達な断層画像撮影装置100で撮影を行う時に、狭画角の断層画像を撮影する時の断層画像のプレビュー表示の例について説明する。SS-OCTなどの広画角で高深達な断層画像撮影装置100において、SD-OCTと同じ撮影パターンを用いた撮影を行う時、SD-OCTの撮影と同じ見た目で撮影できることが望ましい。
なお、本実施例では、異なる種別の断層画像撮影装置で撮影された複数の断層画像の表示においても、断層構造の縦横比が似た状態で表示されることを同じ見た目であると表現するが、厳密に同じ見た目でなくてもよく、目視による断層構造の比較が行いやすい状態であればよい。
(本実施例に係る断層画像比較表示画面)
図10を参照して本実施例の表示制御部430が表示する、断層画像を撮影する撮影画面の例を説明する。図10は断層画像撮影装置100から撮影制御部410を介して断層画像を撮影し、取得するための断層画像撮影画面1000である。
断層画像撮影画面1000は撮影パターン表示領域1010と撮影プレビュー表示領域1020を持つ。撮影パターン表示領域1010では左右眼や調整モード、スキャンモード、固視灯の種別等が示される。なお、ユーザはマウス等の入力部130を使って、スキャンモードや固視灯の種別を変更することができる。
撮影プレビュー表示領域1020は、前眼プレビュー表示部1021、SLOプレビュー表示部1022、断層プレビュー表示領域1023を持ち、断層画像撮影装置100から取得される前眼プレビュー画像、SLOプレビュー画像、断層プレビュー画像をそれぞれの表示部にライブ画像としてリアルタイムに表示する。SLOプレビュー表示部1020では、断層画像の撮影パターン及び固視灯位置をSLOプレビュー画像上に表示する。
またユーザは入力部130を介して断層画像の撮影パターンのサイズや位置及び固視灯位置を変更することができる。撮影パターンが変更された場合、撮影制御部410は変更に合わせて断層画像撮影装置100の断層プレビュー画像の取得内容が変更され、変更後の断層プレビュー画像が断層プレビュー表示部1023に映し出される。
(本実施例に係るSS-OCTで狭画角撮影する時の断層画像の表示フロー)
図11を用いて本実施例に係るSS-OCTのように広画角かつ高深さ範囲の断層画像を取得可能な断層画像撮影装置100で、SD-OCTと同じような狭画角の撮影を行う際の断層画像の表示フローについて説明する。図11は本実施例に係るSS-OCTの撮影で狭画角撮影時の断層画像表示のための動作のフローチャートを示す。
SS-OCTで狭画角の断層画像を撮影する場合、断層プレビュー表示領域1023には、狭画角で深さ方向が長く網膜部分が薄くなった断層画像が表示される。ここで、表示制御部430が狭画角撮影時に断層プレビュー画像のスケールを変更することで、SS-OCTでの撮影においてもSD-OCTでの断層プレビュー画像と同じ見た目で断層プレビュー画像を表示することができる。
具体的には、ステップS1101でユーザは入力部130を介して撮影パターン表示領域1010上で撮影パターンを選択する。なお、撮影パターンの選択後にSLOプレビュー表示上で撮影パターンのサイズを変更することもできる。
ステップS1102では、表示制御部430がステップS1101で指定された撮影パターンの狭画角かどうかの判定を行う。例えば、画角がSD-OCTの撮影画角である10mm以下の場合は狭画角として判定する。
ステップS1103では、表示制御部430がステップS1102の判定結果からスケールを決定する。狭画角の場合は2mm Depthスケールに設定し、狭画角でない場合はFitスケール表示を設定する。すなわち、狭画角で撮影された断層画像を表示させる場合には、断層画像のうち深さ方向の長さが短い部分画像を表示させる。このとき、縦横でそれぞれ撮影するCross撮影パターンの場合、それぞれで画角が異なる場合があるが、それぞれで狭画角の判定を行ってスケールを設定してもよいし、1つでも狭画角が判定された場合は全て狭画角でのスケールに統一して設定してもよい。
ステップS1104では、表示制御部430が断層画像撮影装置100から取得される断層プレビュー画像の縦横の実寸長の確認をする。横方向の実寸長はステップ1101で設定した撮影パターンから、深さ方向の実寸長は断層画像撮影装置100の情報として予め記憶しているか、断層画像撮影装置100と通信して取得した情報を使用する。
ステップS1105では、表示制御部430が断層プレビュー表示領域1023の縦横のピクセル数を確認する。
ステップS1106では、表示制御部430が断層画像取得装置100から取得される断層プレビュー画像の縦横のピクセル数を確認する。断層プレビュー画像の縦横のピクセル数は断層画像撮影装置100の情報として予め記憶しているか、断層画像撮影装置100と通信して取得した情報を使用する。
ステップS1107では、表示制御部430がステップS1103からステップS1106までで確認したスケール、断層プレビュー画像の実寸と表示領域のサイズ及び断層プレビュー画像のサイズから、断層プレビュー画像の縦横それぞれで拡大縮小倍率を算出する。算出手法はステップS706と同じ方法となる。
ステップS1108では、断層画像撮影装置100から撮影制御部410が画像取得部420を介して断層プレビュー画像を取得し、表示制御部430に渡す。
ステップS1109では、表示制御部430がS1107で求めた倍率で拡大・縮小された断層画像を生成する。ニアレストネイバー法やバイリニア法、バイキュービック法、機械学習による超解像などによって補間を行うことで、拡大・縮小された断層画像が生成される。
ステップS1110では、S1107で求めた倍率が1以上の時、断層プレビュー画像のデフォルト位置を決定する。デフォルト位置として断層画像の中央が部分画像として表示される位置を指定する。なお断層画像は深さ方向に暗くなる傾向があるため、狭画角で網膜がはみ出ない範囲で明るい部分で撮影できる位置を設定してもよい。また、脈絡膜観察モードなど、撮影する対象によって位置が変更されてもよい。
なお、断層画像撮影装置100が断層画像を映し出す位置を自動的に決定する機能を持つ場合は、断層画像を映し出す位置が初期表示位置と合うようにしてもよいし、現在断層プレビュー表示領域1023が表示している位置にあうようにしてもよい。
ステップS1111では、表示制御部430が断層プレビュー表示領域1023内に、ステップS1109で生成した断層プレビュー画像をステップS1110で指定した位置で表示する。
表示制御部は断層プレビュー画像を断層画像撮影装置100から撮影制御部410及び画像取得部420を介して動画として連続して取得する間は、ステップ1109からS1111を繰り返す。その間、ステップS1110での表示位置は前の状態を維持する。ユーザによって表示位置が変更された場合も、変更後の位置を維持して断層プレビュー画像を表示する。
上述した本実施例によれば、SS-OCTなどの深さ方向に長い断層画像を取得する断層画像撮影装置100の断層プレビュー表示を、SD-OCTで撮影する時と同じ見た目で表示することができる。これにより、被検眼の注目領域、例えば網膜の視認性を向上できる。
さらに、狭画角判定時に、SD-OCTと同じSLOプレビュー画像の範囲にSLOプレビュー画像を拡大して表示することで、撮影パターンの位置調整などがより精度高く実施できるようになりユーザビリティが向上する。
なお、ステップS1102で撮影パターンの画角から狭画角の判定を行ったが、ステップS1101で選択する撮影パターンに予め狭画角のモードかどうかを設定しておき、設定によって判定する方法でもよい。
<実施例4>
本実施例の眼科システム10は、眼科検査装置の一例である断層画像撮影装置100によって取得される断層画像の画角に応じて、異なるスケールを適用して断層画像を表示することができる。
ここで、狭い画角で撮影された断層画像が選択された場合、断層画像の深さ方向における一部の領域のみ、すなわち部分画像を表示領域に表示するスケールで表示される。取得されたままの断層画像よりも深さ方向が短い部分画像を表示することで、注目領域、例えば網膜を視認しやすくすることができる。
断層画像撮影装置であるOCTによって取得される断層画像の深さ方向の長さ(撮影深度)は、被検眼に照射される測定光の性質と、干渉光を受光するセンサの性質とに依存する。取得される断層画像の深さ方向の長さを変更するためには、光源の変更やサンプリング速度の変更などの光学系の構成の煩雑な変更及び調整が必要であるため、深さ方向の長さは変更不可である場合がある。本実施例では、取得した断層画像を後処理することによって、光学系の構成の煩雑な変更及び調整をすることなく注目領域を視認しやすく表示させることができる。
装置構成は実施例1~3と同様であるため、説明を省略する。
図12を用いて、断層画像撮影装置100によって広角と狭角とを切り替えて撮影を行う場合の断層画像の表示について説明する。
断層画像撮影装置100、例えばSS-OCTを用いることで、図12(a)のような広画角かつ高深さ範囲の断層画像を撮影することが可能である。広画角かつ高深さ範囲の断層画像を取得することで、広い範囲の網膜を観察し黄斑部から離れた位置における異常を発見することができる。
ここで、より狭い画角で断層画像を取得することで、広画角の断層画像よりも横方向の解像度の高い断層画像を取得する場合が考えられる。このとき、図12(a)の断層画像が表示される表示領域と同じ表示領域に、狭い画角かつ高深さ範囲の断層画像の全体を表示すると、深さ方向がつぶれてしまい、注目領域の一例である網膜が視認しづらくなる場合がある。
本実施例では、図12(b)のように取得されたままの断層画像よりも深さ方向が短い部分画像を表示する。このとき、スクロールバー等によるユーザの指示に応じて、部分画像として表示されない領域を新たに表示させる構成であってもよい。また、部分画像として表示されない領域は予めトリミング処理する構成であってもよい。
図13を用いて、断層画像撮影装置100を制御して断層画像を取得し、断層画像の画角に応じて表示スケールを異ならせるための動作フローを説明する。
ステップS1301において、ユーザは撮影を行う撮影パターンの選択・変更を行う。撮影パターンは、画角を含む。撮影パターンとして、他にも、左右眼、撮影サイズ、撮影形式、X軸方向のスキャン数、Y軸方向のスキャン数、同一位置の繰り返し走査回数などの設定を行ってもよい。
ステップS1302において、断層画像撮影装置100を制御し、S1301で設定された撮影パターンに基づく断層画像の取得を行う。続いて、ステップS1303において取得された断層画像の画角を確認する。このとき、断層画像に紐づけられた画角の情報を確認してもよいし、断層画像撮影装置100に設定された断層画像の画角を確認してもよい。
ステップS1304において、画角に応じた断層画像の表示スケールの決定を行う。このとき、狭い画角で撮影された断層画像が選択された場合、断層画像の深さ方向における一部の領域のみ、すなわち部分画像を表示領域に表示するスケールで表示させる。また、広い画角で撮影された断層画像が選択された場合は画像の全体を表示領域に表示させるスケールで表示させる。例えば、狭い画角の場合は2mm Depth、広い画角の場合はFitスケールのように設定してもよい。
ステップS1305~S1310での画像処理及び表示の動作フローは、実施例1と同様であるため説明を省略する。
なお、断層画像を表示させるレポートとして、図12のように異なる画角で取得された複数の断層画像を並べて表示させてもよいし、同じ画角の断層像のみを表示させてもよい。そのほかの複数の断層画像を表示させる場合の表示方法は実施例1と同様であるため、説明を省略する。
<その他の実施例>
本明細書の実施例1~4は適宜組み合わせて実施されてもよい。
また、本明細書に開示される技術は、上述した様々な実施例の1以上の機能を実現するソフトウェア(プログラム)を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、1つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。
このとき、プロセッサ又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサ又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。