以下、実施形態の医用画像処理装置および医用画像処理方法を、図面を参照して説明する。医用画像処理装置は、例えば、X線CT(Computed Tomography:コンピュータ断層診断)装置等の医用画像に対する処理を行って被検体を診断する装置である。
(第1の実施形態)
図1は、第1の実施形態に係るX線CT装置1の構成図である。X線CT装置1は、例えば、架台装置10と、寝台装置30と、コンソール装置40とを有する。図1では、説明の都合上、架台装置10をZ軸方向から見た図とX軸方向から見た図の双方を掲載しているが、実際には、架台装置10は一つである。実施形態では、非チルト状態での回転フレーム17の回転軸または寝台装置30の天板33の長手方向をZ軸方向、Z軸方向に直交し、床面に対して水平である軸をX軸方向、Z軸方向に直交し、床面に対して垂直である方向をY軸方向とそれぞれ定義する。
架台装置10は、例えば、X線管11と、ウェッジ12と、コリメータ13と、X線高電圧装置14と、X線検出器15と、データ収集システム(以下、DAS:Data Acquisition System)16と、回転フレーム17と、制御装置18とを有する。
X線管11は、X線高電圧装置14からの高電圧の印加により、陰極(フィラメント)から陽極(ターゲット)に向けて熱電子を照射することでX線を発生させる。X線管11は、真空管を含む。例えば、X線管11は、回転する陽極に熱電子を照射することでX線を発生させる回転陽極型のX線管である。
ウェッジ12は、X線管11から被検体Pに照射されるX線量を調節するためのフィルタである。ウェッジ12は、X線管11から被検体Pに照射されるX線量の分布が予め定められた分布になるように、自身を透過するX線を減衰させる。ウェッジ12は、ウェッジフィルタ(wedge filter)、ボウタイフィルタ(bow-tie filter)とも呼ばれる。ウェッジ12は、例えば、所定のターゲット角度や所定の厚みとなるようにアルミニウムを加工したものである。
コリメータ13は、ウェッジ12を透過したX線の照射範囲を絞り込むための機構である。コリメータ13は、例えば、複数の鉛板の組み合わせによってスリットを形成することで、X線の照射範囲を絞り込む。コリメータ13は、X線絞りと呼ばれる場合もある。
X線高電圧装置14は、例えば、高電圧発生装置と、X線制御装置とを有する。高電圧発生装置は、変圧器(トランス)および整流器などを含む電気回路を有し、X線管11に印加する高電圧を発生させる。X線制御装置は、X線管11に発生させるべきX線量に応じて高電圧発生装置の出力電圧を制御する。高電圧発生装置は、上述した変圧器によって昇圧を行うものであってもよいし、インバータによって昇圧を行うものであってもよい。X線高電圧装置14は、回転フレーム17に設けられてもよいし、架台装置10の固定フレーム(不図示)の側に設けられてもよい。
X線検出器15は、X線管11が発生させ、被検体Pを通過して入射したX線の強度を検出する。X線検出器15は、検出したX線の強度に応じた電気信号(光信号などでもよい)をDAS18に出力する。X線検出器15は、例えば、複数のX線検出素子列を有する。複数のX線検出素子列のそれぞれは、X線管11の焦点を中心とした円弧に沿ってチャネル方向に複数のX線検出素子が配列されたものである。複数のX線検出素子列は、スライス方向(列方向、row方向)に配列される。
X線検出器15は、例えば、グリッドと、シンチレータアレイと、光センサアレイとを有する間接型の検出器である。シンチレータアレイは、複数のシンチレータを有する。それぞれのシンチレータは、シンチレータ結晶を有する。シンチレータ結晶は、入射するX線の強度に応じた光量の光を発する。グリッドは、シンチレータアレイのX線が入射する面に配置され、散乱X線を吸収する機能を有するX線遮蔽板を有する。なお、グリッドは、コリメータ(一次元コリメータまたは二次元コリメータ)と呼ばれる場合もある。光センサアレイは、例えば、光電子増倍管(フォトマルチプライヤー:PMT)等の光センサを有する。光センサアレイは、シンチレータにより発せられる光の光量に応じた電気信号を出力する。X線検出器15は、入射したX線を電気信号に変換する半導体素子を有する直接変換型の検出器であってもかまわない。
DAS16は、例えば、増幅器と、積分器と、A/D変換器とを有する。増幅器は、X線検出器15の各X線検出素子により出力される電気信号に対して増幅処理を行う。積分器は、増幅処理が行われた電気信号をビュー期間(後述)に亘って積分する。A/D変換器は、積分結果を示す電気信号をデジタル信号に変換する。DAS16は、デジタル信号に基づく検出データをコンソール装置40に出力する。検出データは、生成元のX線検出素子のチャンネル番号、列番号、及び収集されたビューを示すビュー番号により識別されたX線強度のデジタル値である。ビュー番号は、回転フレーム17の回転に応じて変化する番号であり、例えば、回転フレーム17の回転に応じてインクリメントされる番号である。従って、ビュー番号は、X線管11の回転角度を示す情報である。ビュー期間とは、あるビュー番号に対応する回転角度から、次のビュー番号に対応する回転角度に到達するまでの間に収まる期間である。DAS16は、ビューの切り替わりを、制御装置18から入力されるタイミング信号によって検知してもよいし、内部のタイマーによって検知してもよいし、図示しないセンサから取得される信号によって検知してもよい。フルスキャンを行う場合においてX線管11によりX線が連続曝射されている場合、DAS16は、全周囲分(360度分)の検出データ群を収集する。ハーフスキャンを行う場合においてX線管11によりX線が連続曝射されている場合、DAS16は、半周囲分(180度分)の検出データを収集する。
回転フレーム17は、X線管11、ウェッジ12、およびコリメータ13と、X線検出器15とを対向支持する円環状の部材である。回転フレーム17は、固定フレームによって、内部に導入された被検体Pを中心として回転自在に支持される。回転フレーム17は、更にDAS16を支持する。DAS16が出力する検出データは、回転フレーム17に設けられた発光ダイオード(LED)を有する送信機から、光通信によって、架台装置10の非回転部分(例えば固定フレーム)に設けられたフォトダイオードを有する受信機に送信され、受信機によってコンソール装置40に転送される。なお、回転フレーム17から非回転部分への検出データの送信方法として、前述の光通信を用いた方法に限らず、非接触型の任意の送信方法を採用してよい。回転フレーム17は、X線管11などを支持して回転させることができるものであれば、円環状の部材に限らず、アームのような部材であってもよい。
X線CT装置1は、例えば、X線管11とX線検出器15の双方が回転フレーム17によって支持されて被検体Pの周囲を回転するRotate/Rotate-TypeのX線CT装置(第3世代CT)であるが、これに限らず、円環状に配列された複数のX線検出素子が固定フレームに固定され、X線管11が被検体Pの周囲を回転するStationary/Rotate-TypeのX線CT装置(第4世代CT)であってもよい。
制御装置18は、例えば、CPU(Central Processing Unit)などのプロセッサを有する処理回路と、モータやアクチュエータなどを含む駆動機構とを有する。制御装置18は、コンソール装置40または架台装置10に取り付けられた入力インターフェース43からの入力信号を受け付けて、架台装置10および寝台装置30の動作を制御する。
制御装置18は、例えば、回転フレーム17を回転させたり、架台装置10をチルトさせたり、寝台装置30の天板33を移動させたりする。架台装置10をチルトさせる場合、制御装置18は、入力インターフェース43に入力された傾斜角度(チルト角度)に基づいて、Z軸方向に平行な軸を中心に回転フレーム17を回転させる。制御装置18は、図示しないセンサの出力等によって回転フレーム17の回転角度を把握している。また、制御装置18は、回転フレーム17の回転角度を随時、処理回路50に提供する。制御装置18は、架台装置10に設けられてもよいし、コンソール装置40に設けられてもよい。
寝台装置30は、スキャン対象の被検体Pを載置して移動させ、架台装置10の回転フレーム17の内部に導入する装置である。寝台装置30は、例えば、基台31と、寝台駆動装置32と、天板33と、支持フレーム34とを有する。基台31は、支持フレーム34を鉛直方向(Y軸方向)に移動可能に支持する筐体を含む。寝台駆動装置32は、モータやアクチュエータを含む。寝台駆動装置32は、被検体Pが載置された天板33を、支持フレーム34に沿って、天板33の長手方向(Z軸方向)に移動させる。天板33は、被検体Pが載置される板状の部材である。
寝台駆動装置32は、天板33だけでなく、支持フレーム34を天板33の長手方向に移動させてもよい。また、上記とは逆に、架台装置10がZ軸方向に移動可能であり、架台装置10の移動によって回転フレーム17が被検体Pの周囲に来るように制御されてもよい。また、架台装置10と天板33の双方が移動可能な構成であってもよい。
コンソール装置40は、例えば、メモリ41と、ディスプレイ42と、入力インターフェース43と、メモリ41と、ネットワーク接続回路44と、処理回路50とを有する。実施形態では、コンソール装置40は架台装置10とは別体として説明するが、架台装置10にコンソール装置40の各構成要素の一部または全部が含まれてもよい。
メモリ41は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。メモリ41は、例えば、検出データや投影データ、再構成画像、CT画像等を記憶する。これらのデータは、メモリ41ではなく(或いはメモリ41に加えて)、X線CT装置1が通信可能な外部メモリに記憶されてもよい。外部メモリは、例えば、外部メモリを管理するクラウドサーバが読み書きの要求を受け付けることで、クラウドサーバによって制御されるものである。
ディスプレイ42は、各種の情報を表示する。例えば、ディスプレイ42は、処理回路によって生成された医用画像(CT画像)や、操作者による各種操作を受け付けるGUI(Graphical User Interface)画像等を表示する。ディスプレイ42は、例えば、液晶ディスプレイやCRT(Cathode Ray Tube)、有機EL(Electroluminescence)ディスプレイ等である。ディスプレイ42は、架台装置10に設けられてもよい。ディスプレイ42は、デスクトップ型でもよいし、コンソール装置40の本体部と無線通信可能な表示装置(例えばタブレット端末)であってもよい。
入力インターフェース43は、操作者による各種の入力操作を受け付け、受け付けた入力操作の内容を示す電気信号を処理回路50に出力する。例えば、入力インターフェース43は、検出データまたは投影データ(後述)を収集する際の収集条件、CT画像を再構成する際の再構成条件、CT画像から後処理画像を生成する際の画像処理条件などの入力操作を受け付ける。例えば、入力インターフェース43は、マウスやキーボード、タッチパネル、ドラッグボール、スイッチ、ボタン、ジョイスティック、フットペダル、カメラ、赤外線センサ、マイク等により実現される。入力インターフェース43は、架台装置10に設けられてもよい。また、入力インターフェース43は、コンソール装置40の本体部と無線通信可能な表示装置(例えばタブレット端末)により実現されてもよい。
ネットワーク接続回路44は、例えば、プリント回路基板を有するネットワークカード、或いは無線通信モジュールなどを含む。ネットワーク接続回路44は、接続する対象のネットワークの形態に応じた情報通信用プロトコルを実装する。ネットワークは、例えば、LAN(Local Area Network)やWAN(Wide Area Network)、インターネット、セルラー網、専用回線等を含む。
処理回路50は、X線CT装置1の全体の動作を制御する。処理回路50は、例えば、システム制御機能51、前処理機能52、再構成処理機能53、画像処理機能54、スキャン制御機能55、表示制御機能56、第1学習機能57、第2学習機能58などを実行する。処理回路50は、例えば、ハードウェアプロセッサがメモリ41に記憶されたプログラムを実行することにより、これらの機能を実現するものである。
ハードウェアプロセッサとは、例えば、CPU、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit; ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device; SPLD)または複合プログラマブル論理デバイス(Complex Programmable Logic Device; CPLD)や、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array; FPGA))などの回路(circuitry)を意味する。メモリ41にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて1つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を1つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。
コンソール装置40または処理回路50が有する各構成要素は、分散化されて複数のハードウェアにより実現されてもよい。処理回路50は、コンソール装置40が有する構成ではなく、コンソール装置40と通信可能な処理装置によって実現されてもよい。処理装置は、例えば、一つのX線CT装置と接続されたワークステーション、あるいは複数のX線CT装置に接続され、以下に説明する処理回路50と同等の処理を一括して実行する装置(例えばクラウドサーバ)である。
システム制御機能51は、入力インターフェース43が受け付けた入力操作に基づいて、処理回路50の各種機能を制御する。
前処理機能52は、DAS16により出力された検出データに対して対数変換処理やオフセット補正処理、チャネル間の感度補正処理、ビームハードニング補正等の前処理を行って、投影データを生成し、生成した投影データをメモリ41に記憶させる。
再構成処理機能53は、前処理機能52によって生成された投影データに対して、フィルタ補正逆投影法や逐次近似再構成法等による再構成処理を行って、CT画像を生成し、生成したCT画像をメモリ41に記憶させる。
画像処理機能54は、入力インターフェース43が受け付けた入力操作に基づいて、CT画像を公知の方法により、三次元画像や任意断面の断面像データに変換する。三次元画像への変換は、前処理機能52によって行われてもよい。
また、画像処理機能54は、入力インターフェース43が受け付けた入力操作に基づいて、アーチファクトの検出されたCT画像からアーチファクトを軽減または削除するアーチファクト補正処理を行う。アーチファクト補正処理については後述する。以下において、アーチファクトを軽減または削除することを、単に「軽減する」という。
スキャン制御機能55は、X線高電圧装置14、DAS16、制御装置18、および寝台駆動装置32に指示することで、架台装置10における検出データの収集処理を制御する。スキャン制御機能55は、スキャノ画像を収集する撮影、および診断に用いる画像を撮影する際の各部の動作をそれぞれ制御する。
表示制御機能56は、ディスプレイ42の表示態様を制御する。
第1学習機能57は、画像処理機能54により処理されたCT画像がアーチファクトを含むか否かを学習し、後述する判定モデル41-6を生成する。第1学習機能57は、「判定モデル生成部」の一例である。
第2学習機能58は、被検体の情報と、画像処理機能54により処理されたCT画像からアーチファクトを軽減した補正画像と、元のCT画像との関係を学習し、後述する補正モデル41-7を生成する。第2学習機能58は、「補正モデル生成部」の一例である。
上記構成により、X線CT装置1は、ヘリカルスキャン、コンベンショナルスキャン、ステップアンドシュートなどの態様で被検体Pのスキャンを行う。ヘリカルスキャンとは、天板33を移動させながら回転フレーム17を回転させて被検体Pをらせん状にスキャンする態様である。コンベンショナルスキャンとは、天板33を静止させた状態で回転フレーム17を回転させて被検体Pを円軌道でスキャンする態様である。コンベンショナルスキャンを実行する。ステップアンドシュートとは、天板33の位置を一定間隔で移動させてコンベンショナルスキャンを複数のスキャンエリアで行う態様である。
図2は、メモリ41に格納されるデータの一例を示す図である。図2に示すように、メモリ41には、例えば、処理回路50により生成される被検体情報41-1、検出データ41-2、投影データ41-3、再構成画像41-4、補正画像41-5、判定モデル41-6、補正モデル41-7などの情報が格納される。
[画像処理機能]
図3は、画像処理機能54の構成図である。画像処理機能54は、例えば、再構成画像取得機能54-1と、アーチファクト判定機能54-2と、アーチファクト補正処理機能54-3とを備える。
再構成画像取得機能54-1は、メモリ41から、撮影された再構成画像41-4と、被検体Pに対応付けられた被検体情報41-1とを取得する。被検体情報41-1は、例えば、被検体Pを識別するID情報や、被検体Pの性別、身長、体重等の被検体Pの特性を示す情報、撮影部位の情報等の情報を含む。再構成画像取得機能54-1は、「取得部」の一例である。
アーチファクト判定機能54-2は、再構成画像取得機能54-1により取得された再構成画像41-4がオーバーフローアーチファクトを含むか否かを判定する。ここで、オーバーフローアーチファクトについて説明する。アーチファクトとは、再構成画像に現れるノイズのことである。オーバーフローアーチファクトとは、X線検出器15で扱えるカウントの最大値を超えた場合に、再構成画像上に現れるノイズのことである。アーチファクト判定機能54-2は、操作者による判定入力を受け付けてもよいし、後述する判定モデル41-6の出力結果を判定結果としてもよいし、その他の既知の判定方法による判定結果を用いるものであってもよい。アーチファクト判定機能54-2は、「第1判定部」の一例である。
アーチファクト補正処理機能54-3は、アーチファクト判定機能54-2によりオーバーフローアーチファクトが含まれると判定された再構成画像41-4のオーバーフローアーチファクトを軽減するためのアーチファクト補正処理を行う。アーチファクト補正処理機能54-3は、「補正部」の一例である。
なお、判定モデル41-6および補正モデル41-7に適用される再構成画像41-4は、「第1の医用データ」の一例である。
なお、アーチファクト判定機能54-2は、後述する判定モデル41-6に再構成画像41-4を入力することで得られる出力に基づいてアーチファクト判定処理を行ってもよいし、操作者による入力操作に応じてアーチファクト判定処理を行ってもよい。
なお、アーチファクト補正処理機能54-3は、後述する補正モデル41-7に再構成画像41-4を入力することでアーチファクト補正処理を行ってもよいし、操作者による入力操作に応じてアーチファクト補正処理を行ってもよい。アーチファクト補正処理とは、例えば、アーチファクト補正フィルタの適用や、さらなるビームハードニング補正等のソフト処理により実現される。補正モデル41-7を用いたアーチファクト補正処理については後述する。
なお、アーチファクト補正処理機能54-3は、再構成画像取得機能54-1により取得された被検体情報41-1に対して好適な補正モデル41-7を選択し、選択した補正モデル41-7に再構成画像41-4を適用する。好適な補正モデル41-7とは、例えば、被検体Pのみの再構成画像41-4を機械学習した学習済みモデルである。
なお、アーチファクト補正処理機能54-3は、被検体Pのみの再構成画像41-4を機械学習した補正モデル41-7が存在しない場合には、被検体Pの再構成画像41-4と他の被検体の再構成画像41-4とが反映された学習済みモデルを選択してもよいし、被検体情報41-1が類似する(例えば、性別、身長、体重、撮影部位等の一部または全部が類似する)他の被検体の再構成画像41-4が反映された学習済みモデルを選択してもよい。
[第1学習機能]
以下、第1学習機能57による処理について説明する。図4は、第1学習機能57の構成図である。第1学習機能57は、例えば、再構成画像取得機能57-1と、アーチファクト判定結果受付機能57-2と、判定モデル生成機能57-3とを備える。
再構成画像取得機能57-1は、メモリ41から、学習データである被検体情報41-1と再構成画像41-4を取得する。
アーチファクト判定結果受付機能57-2は、アーチファクト判定機能54-2により判定された、再構成画像41-4に含まれるアーチファクトを含むか否かに関する判定結果を受け付ける。
判定モデル生成機能57-3は、再構成画像取得機能57-1により取得された再構成画像41-4と、アーチファクト判定結果受付機能57-2により受け付けられた判定結果とに基づいて、再構成画像41-4が入力されたときに該再構成画像41-4がオーバーフローアーチファクトを含むか否かを示す情報を出力する判定モデル41-6を生成する。
[判定モデル]
判定モデル生成機能57-3は、再構成画像取得機能57-1により取得された再構成画像41-4を学習データとし、その再構成画像41-4に対応付けられた、再構成画像41-4にオーバーフローアーチファクトが含まれるか否かを示す情報(アーチファクト判定結果受付機能57-2により判定された判定結果)を教師データとして機械学習を行うことで、判定モデル41-6を生成する。なお、判定モデル生成機能57-3は、外部装置により実現されてもよい。
図5は、判定モデル41-6による処理の内容について説明するための図である。アーチファクト判定機能54-2は、再構成画像41-4をパラメータとして判定モデル41-6に入力することで、再構成画像41-4にオーバーフローアーチファクトが含まれるか否かを示す情報を出力する。
なお、図5に示した処理において、再構成画像41-4の代替として、投影データ41-3が入力パラメータとして利用されてもよい。
図6は、判定モデル生成機能57-3による判定モデル生成処理を説明するための図である。判定モデル生成機能57-3は、予め接続情報等が定義されると共に接続係数等のパラメータが暫定的に設定された機械学習モデル(以下、第1の機械学習モデルと称する場合がある)に対して、複数セットの学習データを入力し、その結果が、学習データに対応する教師データに近づくように、機械学習モデルにおけるパラメータを調整する。判定モデル生成機能57-3は、例えば、被検体情報41-1に含まれる、ある被検体Pの再構成画像41-4を学習データとし、その撮影時の再構成画像41-4にオーバーフローアーチファクトが含まれるか否かを示す情報を教師データとする学習済みモデルを生成する機械学習モデルを生成する。
判定モデル生成機能57-3は、例えば、バックプロパゲーション(逆誤差伝搬法)によって機械学習モデルのパラメータを調整する。機械学習モデルは、例えば、CNN(Convolution Neural Network)を利用したDNN(Deep Neural Network)である。なお、機械学習モデルは、より新しい学習データがアウトプットとして反映されやすくなるように、学習データ毎に重み付け設定などを行ってもよい。
判定モデル生成機能57-3は、予め定められたセット数の学習データと、対応する教師データについてバックプロパゲーションを行うと、処理を終了する。その時点の機械学習モデルが判定モデル41-6として記憶される。なお、判定モデル生成機能57-3は、ある被検体Pの再構成画像41-4と、その再構成画像41-4にオーバーフローアーチファクトが含まれるか否かを示す情報とのセットとを用いて判定モデル41-6を生成してもよい。
[第2学習機能]
以下、第2学習機能58による処理について説明する。図7は、第2学習機能58の構成図である。第2学習機能58は、例えば、再構成画像取得機能58-1と、アーチファクト補正結果受付機能58-2と、補正モデル生成機能58-3とを備える。
再構成画像取得機能58-1は、メモリ41から、学習データである被検体情報41-1と再構成画像41-4、および教師データである補正画像41-5を取得する。
アーチファクト補正結果受付機能58-2は、アーチファクト補正処理機能54-3により学習データである再構成画像41-4に対して補正処理が行われたか否かを示す情報を受け付ける。
補正モデル生成機能58-3は、再構成画像取得機能58-1により取得された再構成画像41-4と、アーチファクト補正結果受付機能58-2により受け付けられた補正処理が行われたか否かを示す情報に基づいて、補正モデル41-7を生成する。
[補正モデル]
図8は、補正モデル41-7による処理の内容について説明するための図である。アーチファクト補正処理機能54-3は、被検体情報41-1と再構成画像41-4とをパラメータとして補正モデル41-7に入力することで、再構成画像41-4に含まれるオーバーフローアーチファクトを補正した補正画像41-5を出力する。
図8に示す処理は、同一被検体Pの再構成画像41-4のみを学習データとすることで後続処理であるアーチファクト補正の処理の正確性を高めることが望ましい。しかしながら、必要数の学習データが収集できない段階においては、被検体Pと類似する被検体情報41-1に対応付けられた再構成画像41-4を学習データに含めてもよい。
図9は、補正モデル生成機能58-3の補正モデル生成処理を説明するための図である。補正モデル生成機能58-3は、予め接続情報等が定義されると共に接続係数等のパラメータが暫定的に設定された機械学習モデル(以下、第2の機械学習モデルと称する場合がある)に対して、複数セットの学習データを入力し、その結果が、学習データに対応する教師データに近づくように、機械学習モデルにおけるパラメータを調整する。補正モデル生成機能58-3は、例えば、被検体情報41-1に含まれる、ある被検体Pの被検体情報41-1と再構成画像41-4とのセットとを学習データとし、その撮影時の再構成画像41-4を補正した補正画像41-5を教師データとする学習済みモデルを生成する機械学習モデルを生成する。
補正モデル生成機能58-3は、例えば、判定モデル生成機能57-3と同様に、バックプロパゲーション(逆誤差伝搬法)によってDNN等の機械学習モデルのパラメータを調整する。なお、機械学習モデルは、より新しい学習データがアウトプットとして反映されやすくなるように、学習データ毎に重み付け設定などを行ってもよい。
補正モデル生成機能58-3は、予め定められたセット数の学習データと、対応する教師データについてバックプロパゲーションを行うと、処理を終了する。その時点の機械学習モデルが補正モデル41-7として記憶される。なお、補正モデル生成機能58-3は、ある被検体Pの被検体情報41-1と再構成画像41-4とのセットと、その再構成画像41-4に対応付いた補正画像41-5とのセットとを用いて補正モデル41-7を生成してもよい。
なお、補正モデル生成機能58-3は、予め定められたセット数以上の学習データの被検体Pのみの再構成画像41-4が存在する場合、被検体Pのみの再構成画像41-4を機械学習した学習済みモデルを生成する。補正モデル生成機能58-3は、被検体Pのみの再構成画像41-4が予め定められたセット数存在しない場合には、被検体Pの再構成画像41-4と他の被検体の再構成画像41-4とが反映された補正モデル41-7を生成してもよいし、被検体情報41-1が類似する(例えば、性別、身長、体重、撮影部位等が類似する)他の被検体の再構成画像41-4が反映された補正モデル41-7を生成してもよい。
[人工的なアーチファクト]
以下、人工的なアーチファクトを用いた補正方法について説明する。図10は、補正画像41-5の生成方法について説明するための図である。X線管11から被検体Pに照射されるX線量を検出するX線検出器15の領域a1+a2において、領域a1は想定通りに再構成画像41-4が取得できた(オーバーフローしない)場合であっても、オーバーフローを誘発しやすい撮影部位(肩部や骨盤部を測定する際に、吸収が少ない体表辺縁)を透過したX線を検出する領域a2においてカウント値の最大値がオーバーフローすることがある。
アーチファクト補正処理機能54-3は、領域a2に対応付いた検出データ41-2のカウント値のオーバーフローを検出した場合、領域a1および領域a2に対応付いた検出データ41-2を補正対象とする。アーチファクト補正処理機能54-3は、領域a2に対応付いた検出データ41-2のカウント値のみを補正するものではない。
アーチファクト補正処理機能54-3は、例えば、過去に取得された再構成画像41-4のうち、オーバーフローアーチファクトが含まれないことが操作者によって確認されているものに対応付いた検出データ41-2に、オーバーフローアーチファクトが検出された再構成画像41-4を再現するカウントゲインを施す。カウントゲインは、例えば、領域a2に対応付いたカウント値を、オーバーフロー状態を再現する値になるまで上昇させることである。アーチファクト補正処理機能54-3は、このようにして撮影部位に基づく人工的なオーバーフローアーチファクトを追加した再構成画像を生成する。アーチファクト補正処理機能54-3は、上述のカウントゲインの逆演算をオーバーフローアーチファクトが検出された再構成画像41-4に行うことで、アーチファクト補正処理を行う。
また、補正モデル生成機能58-3は、上述の人工的なオーバーフローアーチファクトを追加した再構成画像とその被検体情報とを学習データとしてもよいし、元の再構成画像を学習データとしてもよい。
[処理フロー1]
図11は、X線CT装置1による撮影処理の流れの一例を示すフローチャートである。
まず、再構成画像取得機能54-1は、再構成画像41-4と、再構成画像41-4に対応付いた被検体情報41-1を取得する(ステップS100)。次に、アーチファクト判定機能54-2は、再構成画像41-4にオーバーフローアーチファクトが含まれるか否かを判定する(ステップS102)。アーチファクト判定機能54-2は、オーバーフローアーチファクトが含まれないと判定した場合、処理を終了する。
アーチファクト判定機能54-2は、ステップS102においてオーバーフローアーチファクトを含むと判定した場合、メモリ41に記憶された補正モデル41-7の中に、同一被検体の再構成画像のみを学習データとした補正モデル41-7が存在するか否かを判定する(ステップS104)。
アーチファクト補正処理機能54-3は、ステップS104においてアーチファクト判定機能54-2により同一被検体の再構成画像のみを補正モデル41-7が存在すると判定された場合、その補正モデル41-7に再構成画像41-4と、対応付いた被検体情報41-1を入力して、オーバーフローアーチファクトの補正された補正画像41-5を得る(ステップS106)。
アーチファクト判定機能54-2は、ステップS104において、同一被検体の再構成画像のみを学習済みモデルが存在すると判定されなかった場合、他の好適な補正モデル41-7があるか否かを判定する(ステップS108)。アーチファクト判定機能54-2は、他の好適な学習済みモデルがあると判定した場合、選択した補正モデル41-7に再構成画像41-4と、対応付いた被検体情報41-1を入力して、アーチファクトの補正された補正画像41-5を得る(ステップS110)。アーチファクト判定機能54-2は、他の好適な学習済みモデルがあると判定しなかった場合、後述するステップS112に処理を進める。
ステップS106またはS110の処理の後、第1学習機能57および第2学習機能は、それぞれ学習データを保存する(ステップS112)。なお、ステップS112の処理において、アーチファクト補正処理機能54-3は、操作者によるアーチファクト補正(補正のやり直し、または微調整)の操作を受け付けてもよい。以上、本フローチャートの処理の説明を終了する。
[処理フロー2]
図12は、第1学習機能57による第1の学習処理の流れの一例を示すフローチャートである。図12のフローチャートは、例えば、図10のステップS114により、所定セット数以上の学習データが保存された場合に行われる。
まず、第1学習機能57は、1セットの学習データを取得する(ステップS200)。次に、第1学習機能57は、ステップS200で取得した1セットの学習データを第1の機械学習モデルに入力し(ステップS202)、1セットの学習データに対応する教師データから誤差を逆伝搬させる(ステップS204)。
次に、第1学習機能57は、所定セット数の学習データについてステップS202およびS204の処理を行ったか否かを判定する(ステップS206)。所定セット数の学習データについてステップS202およびS204の処理を行っていない場合、第1学習機能57は、ステップS200に処理を戻す。所定セット数の学習データについてステップS202およびS204の処理を行った場合、第1学習機能57は、その時点のパラメータを用いて判定モデル41-6を確定し(ステップS208)、本フローチャートの処理を終了する。
[処理フロー3]
図13は、第2学習機能58による第2の学習処理の流れの一例を示すフローチャートである。図13のフローチャートは、例えば、図10のステップS114により、所定セット数以上の学習データが保存された場合に行われる。
まず、第2学習機能58は、1セットの学習データを取得する(ステップS300)。次に、第2学習機能58は、ステップS300で取得した1セットの学習データを第2の機械学習モデルに入力し(ステップS302)、1セットの学習データに対応する教師データから誤差を逆伝搬させる(ステップS304)。
次に、第2学習機能58は、所定セット数の学習データについてステップS302およびS304の処理を行ったか否かを判定する(ステップS306)。所定セット数の学習データについてステップS302およびS304の処理を行っていない場合、第2学習機能58は、ステップS300に処理を戻す。所定セット数の学習データについてステップS302およびS304の処理を行った場合、第2学習機能58は、その時点のパラメータを用いて補正モデル41-7を確定し(ステップS308)、本フローチャートの処理を終了する。
なお、上述の画像処理機能54が処理する再構成画像41-4は、投影データ41-3に基づいて生成されたサイノグラムであってもよい。サイノグラムとは、種々の投影測定に対するX線検出器15に沿った位置の関数として、或いはX線管11とX線検出器15との間の投影角の関数として、身体を通過したX線の減衰を示すデータである。
以上説明した第1の実施形態のX線CT装置1によれば、再構成画像41-4と被検体情報41-1とを取得する再構成画像取得機能54-1と、再構成画像41-4がオーバーフローアーチファクトを含むか否かを示す情報を出力する判定モデル41-6に対して、再構成画像取得機能54-1が取得した再構成画像41-4を入力することで、その再構成画像41-4がオーバーフローアーチファクトを含むか否かを示す情報を出力するアーチファクト判定機能54-2と、再構成画像41-4に基づいて、その再構成画像41-4に含まれるオーバーフローアーチファクトが補正された補正画像41-5を出力する補正モデル41-7に対して、再構成画像取得機能54-1が取得した再構成画像41-4を入力することで、その再構成画像取得機能54-1のオーバーフローアーチファクトが補正された補正画像41-5を生成するアーチファクト判定機能54-2と、を備えることで、オーバーフローアーチファクトの発生を抑制することができる。
(第2の実施形態)
以下、第2の実施形態のX線CT装置1Aについて説明する。なお、以下の説明において、第1の実施形態と同一の構成及び機能については第1の実施形態と同一の符号を付し、詳細な説明を省略する。また、第1の実施形態と同じ名称であるが構成または機能が異なるものについては、符号の末尾に「A」を付すものとする。
図14は、第2の実施形態に係る第1学習機能57Aの構成図である。第1学習機能57Aは、例えば、再構成画像取得機能57-1と、アーチファクト種別受付機能57-2Aと、種別判定モデル生成機能57-3Aとを備える。
アーチファクト種別受付機能57-2Aは、再構成画像取得機能57-1により取得された再構成画像41-4に含まれるアーチファクトの種別を受け付ける。アーチファクト種別受付機能57-2Aは、「第2判定部」の一例である。
アーチファクト種別受付機能57-2Aは、例えば、操作者による、再構成画像取得機能57-1により取得された再構成画像41-4に含まれるアーチファクトの種別の入力を受け付けてもよいし、後述する種別判定モデル41-6Aにより出力されたアーチファクトの種別を示す情報を受け付けてもよい。また、アーチファクト種別受付機能57-2Aは、操作者により間接的に入力されるアーチファクトの種別を受け付けるであってもよい。間接的に入力されるとは、例えば、アーチファクト補正処理機能54-3が行った補正処理の内容から、アーチファクトの種別を類推し、その類推結果を入力とすることである。
種別判定モデル生成機能57-3Aは、再構成画像取得機能57-1により取得された再構成画像41-4に含まれるアーチファクトの種別を判別する種別判定モデル41-6Aを生成する。種別判定モデル生成機能57-3Aは、「種別判定モデル生成部」の一例である。
アーチファクトの種別とは、例えば、オーバーフローアーチファクトに加え、X線検出素子の出力異常を示すアーチファクト(リングアーチファクト)、X線検出器15の異常やX線管11の放電を示すアーチファクト(シャワーアーチファクト)、信号伝送ノイズにより生成されたアーチファクト(モアレアーチファクト)、検出フォトンの大幅な減少・欠落に起因するアーチファクト(ダークバンドアーチファクト)等である。なお、被検体Pが撮影中に動いたことに起因するアーチファクト(モーションアーチファクト)や、インプラントや人工関節等の被検体Pの体内の金属に起因するアーチファクト(メタルアーチファクト)等の画像補正が困難で通常再撮影を要するアーチファクトも、上述のアーチファクトの種別に含めてもよい。種別判定モデル41-6Aは、例えば、上述のアーチファクトの種別毎に生成され、単一のアーチファクトの種別を判定するものであってもよいし、単一の種別判定モデル41-6Aが複数種類のアーチファクトの種別を判定するものであってもよい。
種別判定モデル生成機能57-3Aは、種別判定モデル41-6Aを生成する。種別判定モデル41-6Aについては後述する。
[種別判定モデル]
種別判定モデル生成機能57-3Aは、再構成画像取得機能57-1により取得された再構成画像41-4を学習データとし、その再構成画像41-4に対応付けられた、アーチファクトの種別を示す情報を教師データとして機械学習を行うことで、種別判定モデル41-6Aを生成する。なお、種別判定モデル生成機能57-3Aは、外部装置により実現されてもよい。
図15は、種別判定モデル41-6Aによる処理の内容について説明するための図である。アーチファクト判定機能54-2Aは、再構成画像41-4をパラメータとして種別判定モデル41-6Aに入力することで、再構成画像41-4に含まれるアーチファクトの種別を示す情報を出力する。
アーチファクト判定機能54-2Aは、好適な種別判定モデル41-6Aを選択し、その種別判定モデル41-6Aに再構成画像41-4を入力することで得られる出力に基づいてアーチファクトの有無および種別の判定処理を行ってもよい。また、アーチファクト判定機能54-2Aは、操作者による種別判定モデル41-6Aの選択を示す入力操作を受け付け、選択された種別判定モデル41-6Aに再構成画像41-4を入力することで得られる出力に基づいてアーチファクトの有無および種別の判定処理を行ってもよい。
なお、図15に示した処理において、再構成画像41-4の代替として、投影データ41-3が入力パラメータとして入力されてもよい。
アーチファクト補正処理機能54-3は、再構成画像41-4の補正に関する操作者の入力を受け付け、補正画像41-5を生成してもよい。また、アーチファクト補正処理機能54-3は、アーチファクト判定機能54-2Aの判定結果に基づいて、好適な補正モデル41-7を選択して、選択した補正モデル41-7に再構成画像41-4を入力することで、補正画像41-5を生成してもよい。
図16は、種別判定モデル生成機能57-3Aの種別判定モデル生成処理を説明するための図である。種別判定モデル生成機能57-3Aは、予め接続情報等が定義されると共に接続係数等のパラメータが暫定的に設定された機械学習モデル(以下、第3の機械学習モデルと称する場合がある)に対して、複数セットの学習データを入力し、その結果が、学習データに対応する教師データに近づくように、第3の機械学習モデルにおけるパラメータを調整する。判定モデル生成機能57-3は、例えば、再構成画像41-4を学習データとし、その再構成画像41-4に含まれるアーチファクトの種別を示す情報を教師データとする学習済みモデルを生成する第3の機械学習モデルを生成する。
種別判定モデル生成機能57-3Aは、例えば、第1の実施形態の判定モデル生成機能57-3と同様に、DNN等のバックプロパゲーション(逆誤差伝搬法)によって第3の機械学習モデルのパラメータを調整する。なお、第3の機械学習モデルは、より新しい学習データがアウトプットとして反映されやすくなるように、学習データ毎に重み付け設定などを行ってもよい。
種別判定モデル生成機能57-3Aは、予め定められたセット数の学習データと、対応する教師データについてバックプロパゲーションを行うと、処理を終了する。その時点の第3の機械学習モデルが種別判定モデル41-6Aとして記憶される。なお、種別判定モデル生成機能57-3Aは、ある再構成画像41-4と、その再構成画像41-4に含まれるアーチファクトの種別を示す情報とのセットとを用いて種別判定モデル41-6Aを生成してもよい。
[処理フロー4]
図17は、X線CT装置1Aによる撮影処理の流れの一例を示すフローチャートである。
まず、再構成画像取得機能54-1は、再構成画像41-4を取得する(ステップS400)。次に、アーチファクト判定機能54-2Aは、種別判定モデル41-6Aに再構成画像41-4を入力し、アーチファクトの種別を示す情報を取得する(ステップS402)。次に、画像処理機能54は、特定したアーチファクトの種別をディスプレイ42に出力するよう表示制御機能56に出力指示し(ステップS404)、操作者によるアーチファクト補正の操作を受け付ける(ステップS406)。なお、ステップS406は、第1の実施形態と同様に、補正モデル41-7に再構成画像41-4を入力することで、補正画像41-5を生成してもよい。次に、第1学習機能57Aは、ステップS406の処理結果を学習データであるアーチファクトの種別を示す情報として保存する(ステップS408)。以上、本フローチャートの処理の説明を終了する。
[処理フロー5]
図18は、第1学習機能57Aによる第3の学習処理の流れの一例を示すフローチャートである。図18のフローチャートは、例えば、図17のステップS408により所定セット数以上の学習データが保存された場合や、X線CT装置1Aが1名の被検体の撮影を終了する度などのタイミングで行われる。
まず、第1学習機能57Aは、1セットの学習データを取得する(ステップS500)。次に、第1学習機能57Aは、ステップS200で取得した1セットの学習データを第3の機械学習モデルに入力し(ステップS502)、1セットの学習データに対応する教師データから誤差を逆伝搬させる(ステップS504)。
次に、第1学習機能57Aは、所定セット数の学習データについてステップS502およびS504の処理を行ったか否かを判定する(ステップS506)。所定セット数の学習データについてステップS502およびS504の処理を行っていない場合、第1学習機能57Aは、ステップS500に処理を戻す。所定セット数の学習データについてステップS502およびS504の処理を行った場合、第1学習機能57Aは、その時点のパラメータを用いて種別判定モデル41-6Aを確定し(ステップS508)、本フローチャートの処理を終了する。
以上説明した第2の実施形態のX線CT装置1Aによれば、再構成画像41-4を取得する再構成画像取得機能54-1と、再構成画像41-4に含まれるアーチファクトの種別を出力する種別判定モデル41-6Aに対して、再構成画像41-4を入力することで、アーチファクトの種別を判定するアーチファクト判定機能54-2Aと、を備えることで、アーチファクトの補正に要する負荷(特に、アーチファクトの種別の判定に要する負荷と、そのアーチファクトの種別に応じた補正方法の選択に要する負荷)を低減させることができる。
上記説明した実施形態は、以下のように表現することができる。
ハードウェアプロセッサと、
プログラムを記憶した記憶装置と、を備え、
第1の医用データを取得し、
前記取得された第1の医用データがオーバーフローアーチファクトを含むか否かを判定し、
医用データが入力されたときにオーバーフローアーチファクトが補正された医用データを出力する補正モデルに対して、前記オーバーフローアーチファクトを含むと判定された前記第1の医用データを入力することで、前記第1の医用データのオーバーフローアーチファクトが補正された医用データを生成する、
ように構成されている、医用画像処理装置。
以上説明した少なくともひとつの実施形態のX線CT装置によれば、第1の医用データ(41-4)を取得する取得部(54-1)と、前記取得された第1の医用データがオーバーフローアーチファクトを含むか否かを判定する第1判定部(54-2)と、医用データが入力されたときにオーバーフローアーチファクトが補正された医用データを出力する補正モデル(41-7)に対して、前記第1判定部によりオーバーフローアーチファクトを含むと判定された前記第1の医用データを入力することで、前記第1の医用データのオーバーフローアーチファクトが補正された医用データ(41-5)を生成する補正部(54-3)と、を備えることにより、オーバーフローにより発生するアーチファクトを低減することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の軽減、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。