JP2015519985A - マルチカメラ装置追跡 - Google Patents

Abstract

本発明は、介入装置の追跡に関する。介入装置の容易化され且つ簡素化されたリアルタイム追跡を行うために、介入装置を追跡する医療撮像システム１０が提供され、該医療撮像システムはインターフェースユニット１２と、処理ユニット１４とを有する。上記インターフェースユニットは、当該介入装置における被写体の外側に位置される第１部分の第１画像データ１８を供給するように構成される。該第１画像データは３Ｄ画像データを有する。上記インターフェースユニットは、当該介入装置における上記第１部分の続きであって、被写体の内側に位置される第２部分の第２画像データ２０を供給するように構成される。該第２画像データは２Ｄ画像データを有する。上記処理ユニットは、当該介入装置の第１の３Ｄモデル部分を第１画像データに基づいて計算すると共に、該介入装置の第２の３Ｄモデル部分を第２画像データ及び第１モデル部分に基づいて計算するように構成される。上記インターフェースユニットは、当該介入装置のグラフィック表現のデータを第１及び第２の３Ｄモデル部分に基づいて供給するように構成される。

Description

本発明は、介入装置を追跡する医療撮像システム、被検体の内部に部分的に挿入された介入装置を追跡する方法、並びにコンピュータプログラム及びコンピュータ読取可能な媒体に関する。

被検体（object）の検査の間においては、例えば、被検体内に少なくとも部分的に挿入することが可能な介入装置（interventional device）が用いられ、例えば、これら介入装置は被検体内に延びる。例えば患者を検査する場合において、該被検体の内部が人の目では見えない場合、挿入された介入装置の位置、従って範囲（程度）も、対応する画像データを提供する撮像システムなしでは辿ることはできない。例えば、現在の状況をよりよく理解するためにＸ線画像が取得される。介入装置を用いた検査は、例えば、生検方法である。米国特許出願公開第2011/0125011号公報には、ロードマップとして三次元Ｘ線画像を取得することが記載されている。次いで、これら画像は、互いに角度的にオフセットされたリアルタイムの２Ｄ Ｘ線画像と組み合わされる。しかしながら、ロードマップのための該３Ｄ画像の取得は追加の準備ステップを意味することが示されている。

このように、介入装置の容易化され且つ簡素化されたリアルタイム追跡法を提供する必要性が存在し得る。

本発明の目的は、独立請求項の主題により達成され、更なる実施態様は従属請求項に含まれている。

本発明の以下に説明される態様は、介入装置を追跡する医療撮像システム、被検体内に部分的に挿入された介入装置を追跡する方法、コンピュータプログラム要素及びコンピュータ読取可能な媒体にも当てはまることに注意されたい。

本発明の第１態様によれば、介入装置を追跡する医療撮像システムが提供され、該システムは、インターフェースユニットと、処理ユニットとを有する。上記インターフェースユニットは、介入装置における被検体の外側に位置する第１部分の第１画像データを供給するように構成される。該第１画像データは３Ｄ画像データを有する。前記インターフェースユニットは、前記介入装置における前記第１部分の続きであって前記被検体の内部に少なくとも部分的に位置する第２部分の第２画像データを供給するよう構成される。該第２画像データは２Ｄ画像データを有する。前記処理ユニットは、前記介入装置の第１の３Ｄモデル部分を前記第１画像データに基づいて計算すると共に、該介入装置の第２の３Ｄモデル部分を前記第２画像データ及び前記第１モデル部分に基づいて計算するよう構成される。前記インターフェースユニットは、前記介入装置のグラフィック表現のデータを前記第１及び第２の３Ｄモデル部分に基づいて供給するように構成される。

前記処理ユニットは、前記第１の３Ｄ画像データ及び前記第２の２Ｄ画像データを位置合わせ（register）するよう構成することができる。

一実施態様によれば、前記第１及び第２の３Ｄモデル部分に基づく前記介入装置のグラフィック表現を表示するように構成された表示ユニットが設けられる。

一実施態様によれば、当該医療撮像システムは、第１画像取得装置と、第２画像取得装置とを更に有する。上記第１画像取得装置は前記第１画像データを取得するように構成される。上記第２画像取得装置は前記第２画像データを取得するように構成される。

前記第１部分は外側部分とも称され、前記第２部分は挿入部分とも称される。前記介入装置は、挿入方向に位置合わせされる長軸を備えた長尺の装置であり得る。

一実施態様によれば、前記第１画像データは少なくとも２つの光学カメラにより供給される。前記第２画像データは、Ｘ線撮像装置により供給することができる。代わりに、又は加えて、超音波撮像装置を設けることもできる。

例えば、前記第１画像取得装置は、光学（即ち、可視）画像を供給する光学撮像システムである。前記第２画像取得装置は、Ｘ線画像データを供給するＸ線撮像システム又は超音波画像データを供給する超音波撮像システムである。

前記第１及び第２画像データは生で、即ちリアルタイムで取得され得る。上記第１画像取得装置は、少なくとも２つのカメラを備えた光学画像取得装置を有することができる。上記第１画像データは、レーザスキャナ、奥行きカメラ（例えば、飛行時間カメラ）、構造化光カメラ、及び空気を介する超音波等により供給することができる。他の可能性はレーダである。前記第２画像取得装置は、一例によれば、Ｘ線画像取得装置又は超音波画像取得装置を有する。上記Ｘ線画像取得装置は、Ｘ線源及びＸ線検出器を備えたＸ線画像取得装置とすることができる。

一実施態様によれば、前記処理ユニットは前記第１の３Ｄ画像データ及び前記第２の２Ｄ画像データを位置合わせするように構成される。前記表示ユニット（ディスプレイ）は、前記第１の３Ｄ画像データ及び前記第２の２Ｄ画像データを、前記第１及び第２のモデル部分に基づく前記介入装置のモデル表現と一緒に合成画像で表示するように構成される。

一実施態様によれば、前記処理ユニットは、上記第１モデル部分及び第２モデル部分を組み合わせて前記介入装置の３Ｄモデルを形成するよう構成される。

一実施態様によれば、前記処理ユニットは、前記介入装置が位置する境界空間（bounding space）を決定するように構成される。該処理ユニットは、更に、上記境界空間を前記第１モデル部分及び前記第２モデル部分に基づいて、及び／又は前記介入装置の前記モデルに基づいて決定するように構成される。

一実施態様によれば、前記処理ユニットは、前記介入装置の所定の部分が位置する境界ボックスを決定するように構成される。

一実施態様によれば、前記介入装置は単純な湾曲幾何学形状に曲がるよう構成された可撓性介入装置である。前記処理ユニットは、前記介入装置（針）の２つの可能性のある曲がり姿勢を決定するように構成される。そして、前記ディスプレイは該曲がり姿勢をユーザに提示するよう構成される。

一実施態様によれば、前記処理ユニットは前記第１画像データに関して前記介入装置の曲がりを決定するように構成される。該処理ユニットは、前記被検体内の該介入装置の曲がりを、上記第１画像データにおいて決定された曲がりに基づいて予測するよう構成される。

一実施態様によれば、前記処理ユニットは前記第１の３Ｄ画像データ及び前記第２の２Ｄ画像データを位置合わせするように構成される。前記表示ユニットは、該位置合わせされた画像を合成画像で表示するよう構成される。

本発明の第２態様によれば、被検体の内部に部分的に挿入された介入装置を追跡する方法が提供され、該方法は、
ａ）介入装置における被検体の外側に位置する第１部分の第１画像データを取得するステップであって、該第１画像データが３Ｄ画像データを有するステップと、
ｂ）前記介入装置における前記第１部分の続きであって前記被検体の内部に位置する第２部分の第２画像データを取得するステップであって、該第２画像データが２Ｄ画像データを有するステップと、
ｃ）前記介入装置の第１の３Ｄモデル部分を前記第１画像データに基づいて計算するステップと、
ｄ）前記介入装置の第２の３Ｄモデル部分を前記第２画像データ及び前記第１モデル部分に基づいて計算するステップと、
を有する。

一実施態様によれば、上記第１モデル部分及び第２モデル部分が当該介入装置の３Ｄモデルを形成するために合成されるステップｅ）が設けられる。

一実施態様によれば、当該介入装置が位置する境界空間が決定されるステップｆ）が設けられる。該境界空間の決定は、前記第１モデル部分及び前記第２モデル部分に、及び／又は該介入装置のモデルに基づくものである。

“境界空間”なる用語は、当該装置が位置され得る領域、即ち可能性があり且つ合理的な一定の偏差を考慮して決定される位置の可能性のある境界を画定する空間を指す。

一実施態様によれば、当該介入装置の所定の部分が位置する境界ボックスが決定される。

一例において、当該被検体内に位置する装置の部分の位置の範囲（range）に対して信頼ボリューム（confidence volume）が決定される。例えば針（needle）等の当該装置の長さに基づいて、前記３Ｄ画像データの代わりに当該身体の外側に位置する部分の長さを決定することができる。更に、当該被検体内の部分の長さを決定することができる。外側部分の方向、即ち向きと共に、挿入点が該信頼ボリュームのための開始点となる。当該装置の剛性に、即ち可撓性に依存して、内側部分は被検体内で曲げられ得る、即ち上記向きにより与えられる直線又は線形方向からずれ得る。このようにして当該装置が位置し得る可能性のある空間を、ユーザに対して上記信頼ボリュームとして視覚化することができる。

例えば、当該介入装置は剛性のものであり、その所定の部分の位置が決定される。他の例において、当該介入装置は可撓性であり、その所定の部分の位置が決定される。

一例において、境界空間領域、即ち前記境界空間は当該被検体の画像データと関連させてユーザに提示される。

他の例においては、計画された針の経路が、決定されたモデルに重ねて示される。

他の例において、単純な湾曲幾何学形状に曲がるよう構成された可撓性介入装置の場合、上記針の２つの可能性のある曲がり姿勢が決定され、ユーザに提示される。

本発明の一態様によれば、例えば複数光学カメラ構成を用いる、例えば患者の身体の内部の３Ｄ情報を供給する介入装置追跡法（例えば、針追跡法）が提供される。例えば、ビデオ装置から得られる当該被検体の外側に対応する三次元での介入装置の輪郭が、例えば生のＸ線画像における針の追跡（観察）から得られる、該被検体の内部に対応する二次元の装置（又は針）のフットプリントと合成される。他のオプションでは、当該装置の先験的に既知の長さ（即ち、該装置を使用する前に分かっている長さ）を、これらの合成ステップにおいて使用することができる。このように、本方法は、当該針装置の全範囲の、即ち外部及び内部のモデル化、及び当該被写体の前端が何処に位置するかの決定を可能にする。この決定は、仮定及び針のタイプに依存して種々の精度で達成することができる。例えば、剛性の針は高い完ぺきさで位置特定することができる。当該装置の外側部分の三次元画像データの提供は、例えば光学カメラにより実現することができ、かくして、３Ｄ外部データを供給する高度で容易な方法を提供する。更に、被検体の内部の画像データの提供は、二次元画像データしか供給されないので、少ない努力ですむ。しかしながら、内部の装置の欠けている第３次元を供給するために上記３Ｄ外部データが使用される。即ち、当該被検体の内部の３Ｄ画像データは、上記３Ｄ外側データ及び上記２Ｄ内側データの組み合わせにより提供される。例えば、当該介入装置は針である。Ｘ線画像内の該針の経路は、当該Ｘ線画像面に対して垂直な針の姿勢を明らかにしない。しかしながら、計画された目標に命中し、重要な解剖学的構造は避けられることを保証するためには、この情報が特に必要とされる。本発明は、当該Ｘ線ガントリを動かす必要性又は他の追加の測定を要せずに、Ｘ線画像に対して垂直な針姿勢、又は少なくとも当該針を見付けることができる限られた領域を決定することを可能にする。光学カメラ画像内で当該針を追跡すると共に、複数のカメラからの情報を組み合わせることにより、当該患者の身体の外側の部分に関する該針の実際の３Ｄ経路を正確に決定することができる。更に、該針は２Ｄの生のＸ線画像内で追跡され、該針の全範囲（外側＋内側）が、３Ｄビデオの針の輪郭（外側部分）及び２ＤのＸ線の針のフットプリント（内側部分）の組み合わせに基づいてモデル化される。更に、オプションとして、このモデル化に、先験的に既知の針の長さを導入することもできる。

本発明の上記及び他の態様は、後に説明する実施態様から明らかとなり、斯かる実施態様を参照して解説される。

図１は、医療撮像システムの一実施態様を第１基本構成で示す。 図２は、一実施態様による医療撮像システムを他の概略構成で示す。 図３は、第２画像取得装置としてＸ線画像取得ユニットを備えた医療撮像システムの他の例を示す。 図４は、介入装置を追跡する方法の一実施態様の基本ステップを示す。 図５は、他の方法のステップの更なる例を示す。 図６は、他の方法のステップの更なる例を示す。 図７は、一実施態様によるグラフィック表現の一例を示す。 図８は、一実施態様によるグラフィック表現の別の例を示す。 図９ａは、本発明に関する一態様の一例を示す。 図９ｂは、本発明に関する一態様の他の例を示す。 図９ｃは、本発明に関する一態様の他の例を示す。 図９ｄは、本発明に関する一態様の他の例を示す。 図９ｅは、本発明に関する一態様の他の例を示す。 図１０は、一実施態様によるグラフィック表現の他の例を示す。 図１１は、図７のグレイスケール図を示す。 図１２は、図８の説明図を示す。 図１３は、図１０のグラフィック表現を示す。

以下、本発明の実施態様を、図面を参照して説明する。

図１は、第１例における介入装置を追跡する医療撮像システム１０を示し、該システムはインターフェースユニット１２及び処理ユニット１４を有している。オプションとして、表示ユニット１６を設けることができる。インターフェースユニット１２は、介入装置における被検体の外部に位置される第１部分の第１画像データ（第１矢印１８により示されている）を供給するように構成されている。該第１画像データは３Ｄ画像データを有する。インターフェースユニット１２は、更に、当該介入装置における上記第１部分の続きであると共に上記被検体内に少なくとも部分的に位置される第２部分の第２画像データ（第２矢印２０により示されている）を供給するように構成されている。該第２画像データは２Ｄ画像データを有する。処理ユニット１４は、当該介入装置の第１の３Ｄモデル部分を上記第１画像データに基づいて計算すると共に、該介入装置の第２の３Ｄモデル部分を上記第２画像データ及び上記第１のモデル部分に基づいて計算するように構成されている。上記インターフェースユニットは、当該介入装置のグラフィック表現２２のデータを上記第１及び第２の３Ｄモデル部分に基づいて供給するように構成される。

表示ユニット１６は、当該介入装置のグラフィック表現２２（図１には詳細には示されていない）を表示するように構成されている。

図２は、介入装置１１０を追跡する医療撮像システムの他の例１００を示し、該医療撮像システム１００は、例えば第１カメラ１１２ａ及び第２カメラ１１２ｂとして示された第１画像取得装置１１２を有している。更に、第２画像取得装置１１４が処理ユニット１１６と共に設けられている。第１画像取得装置１１２は、介入装置における被検体（例えば、患者）１１８の外側に位置される第１部分の３Ｄ画像情報（又は３Ｄ画像データ）を有する第１画像データを取得するように構成されている。介入装置１１０の上記第１部分は符号１２０により示されている。第２画像取得装置１１４は、上記介入装置における上記第１部分の続きであると共に上記被検体の内部に少なくとも部分的に位置される（例えば、挿入された）第２部分の２Ｄ画像情報（又は２Ｄ画像データ）を有する第２画像データを取得するように構成されている。上記第２部分は符号１２２により示されている。処理ユニット１１６（他の構成部品とデータ通信又はデータ接続１２４状態にある）は、当該介入装置の第１の３Ｄモデル部分を上記第１画像データに基づいて計算すると共に、該介入装置の第２の３Ｄモデル部分を上記第２画像データ及び上記第１モデル部分に基づいて計算するように構成される。上述したインターフェースユニットは、これ以上示されないことに注意されたい。

例えば、上記第１画像データは少なくとも２つの光学カメラ１１２ａ及び１１２ｂにより供給される。対応する画像取得は、カメラ観察ビーム１２４ａ及び１２４ｂにより、各々、示されている。２つのカメラの代わりに、例えば距離決定手段を備えるステレオカメラを設けることができる。

前記第２画像データは、Ｘ線撮像装置１２６（これ以上は説明されない）により供給することができる。点線ビーム構造１２８は対応するＸ線ビームを示す。図２には例えば検出器等の更なる詳細は示されていないことに注意されたい。

他の例（図示されていない）によれば、上記第２画像データは超音波撮像装置により供給される。

処理ユニット１１６は、上記３Ｄ画像データ及び第２画像データを位置合わせ（register）するように構成される。更に、ディスプレイ１３０が設けられ、該ディスプレイは、上記第１画像データ及び第２画像データを組み合わされた（合成された）画像で、上記第１及び第２モデル部分に基づく当該介入装置のモデル表現と一緒に表示するように構成される。しかしながら、ディスプレイ１３０は、図２の他のフィーチャと関連して示されているが、斯かる他のフィーチャの実施態様にとり絶対に必要なフィーチャを表すものではないことに注意すべきである。このように、図２に示されたディスプレイ１３０はオプションとして理解されるべきである。

図３は医療撮像システム１００の他の例を示し、該システムはＣアーム構造体１３８の両端上に設けられたＸ線源１３４及びＸ線検出器１３６を備えるＣアームＸ線撮像装置１３２を有している。更に、可動支持体１４０が天井取付システム１４２と共に図示されている。例えば、被検体１４４が、例えば患者テーブル１４６等の可動又は可調整支持体上に支持されて示されている。更に、２つのカメラ１４８が前記第１画像取得装置として示されている。更に、処理ユニット１１６が、前景に、マウス、キーボード、タッチパッド又は他の制御パネル等のユーザインターフェース１５２及びモニタ１５０を備えて示されている。更に、照明装置１５４が、一層大きなディスプレイ装置１５６と一緒に示されている。Ｃアームの代わりに、他のタイプのＸ線画像取得部を設けることもできる。

図４は、下記のステップを有する、被検体内に部分的に挿入された介入装置を追跡する方法２００を示す。第１ステップ２１０において、介入装置における被検体の外側に位置される第１部分の第１画像データ２１２が取得され、この場合において、該第１画像データは３Ｄ画像データを有する。第２ステップ２１４において、当該介入装置における上記第１部分の続きであって当該被検体の内部に位置される第２部分の第２画像データ２１６が取得され、この場合において、該第２画像データは２Ｄ画像データを有する。第３ステップ２１８において、当該介入装置の第１の３Ｄモデル部分２２０が前記第１画像データに基づいて計算される。第４ステップ２２２において、当該介入装置の第２の３Ｄモデル部分２２４が前記第２画像データ及び上記第１モデル部分に基づいて計算される。

第１ステップ２１０はステップａ）とも称され、第２ステップ２１４はステップｂ）とも称され、第３ステップ２１８はステップｃ）とも称され、第４ステップ２２２はステップｄ）とも称される。

前記第２画像データの画像面に対して垂直な介入装置姿勢を、前記第１画像データにより供給される３Ｄ情報に基づいて決定することができる。該姿勢に関して、当該装置を見付けることができる限られた領域を決定することができる。前記第１部分は第１フラグメント（第１断片）とも称し、前記第２部分は第２フラグメントとも称する。

第１モデル部分を計算するために、当該介入装置が前記第１画像データにおいて決定され、前記第２モデル部分を計算するために、該介入装置が前記第２画像データにおいて決定される。

第１モデル部分を計算するために、当該介入装置は上記第１画像データにおいて追跡することができ、第２モデル部分を計算するために該介入装置は第２画像データにおいて追跡することができる。

当該介入装置を追跡するために、該介入装置の第１端を追跡することができ、該介入装置が被検体表面に侵入する入口点が決定される。

図５は、当該方法の他の例を示し、該例においてはステップｅ）とも称する第５ステップ２２６が設けられる。該ステップｅ）においては、当該介入装置の３Ｄモデル２２８を形成するために、前記第１モデル部分及び第２モデル部分が組み合わされる。

例えば、ステップｅ）における前記第２モデル部分の計算の場合、これは当該介入装置の所定の長さにも基づくものとする。前述したように、当該介入装置は生検針であり得る。該第５ステップ２２６はステップｅ）とも称される。

図６に示されるように、第６ステップ２３０を設けることができ、該ステップでは当該介入装置が位置される境界空間（bounding space）の決定２３４を行う。該境界空間の決定は、前記第１モデル部分及び第２モデル部分に基づく；及び／又は当該介入装置の前記モデルに基づくものである。該境界空間は、境界空間領域とも称される。第６ステップ２３０はステップｆ）とも称される。

上記ステップｆ）は、ステップｅ）と組み合わせて、該ステップｅ）に続いて、又はステップａ）〜ｄ）と組み合わせて、ステップｄ）に続いて設けることもできることに注意されたい。

例えば、当該介入装置の所定の部分が位置する境界ボックスを決定することができる。

該境界空間領域は、ユーザに対し、当該被検体の画像データと関連させて提示することができる。

他の例（図示略）によれば、当該介入装置に関する装置軌跡は少なくとも前記第１モデル部分に基づいて計算される。例えば、当該介入装置は生検針であり得、上記装置軌跡は針の経路である。

簡単な湾曲幾何学構造へ曲がるように構成された可撓性介入装置の場合、当該針の２つの可能性のある曲がり姿勢が決定され、ユーザに提示される。

例えば、前記第１画像データに関して当該介入装置の曲がりが決定され、該介入装置の当該被検体内での曲がりが、上記第１画像データにおいて決定された曲がりに基づいて予測される。

例えば、当該介入装置の予測位置を示す体積的領域が決定される。当該介入装置の前記第１部分に関して該介入装置の曲がりが決定され、該介入装置の曲がりが該介入装置の第２部分に関して決定される。例えば、第２部分が位置する円錐状の領域が決定される。

他の例（図示略）によれば、第１の３Ｄ画像データ及び第２の２Ｄ画像データが位置合わせされ、合成画像で表示される。

図７は表示画像の一例を示し、該例において、２つのカメラからの光学画像は計画された針経路及び三次元Ｘ線再生と融合されている。左側の画像では、針３１２を保持するユーザの手３１０が見えている。小さな円３１４は、当該針の挿入点、即ち該針が当該患者の内部に侵入する点を示している。更に、被検体（即ち、患者）内における当該針の部分も、符号３１６により示されている。同様のものが、図７の右半部にも示されている。

図８には、上側左半部に計画された針経路３１８が示されている。更に、融合されたオーバーレイを伴う生のＸ線透視画像が、上側の行の中央部分及び右側部分、並びに下側の行の左側及び中央部分に示されている。

他の例によれば、上述した方法は下記のフィーチャを可能にする。即ち、当該針（及び、特には針先端）が恐らく存在し得る境界領域を決定し、医師に対して視覚化することができる。この情報を用いて、重要な解剖学的部分に当たっていないかを決定することができ、このことは、更なる検証が必要とされないので、Ｘ線線量及び時間を節約することになる。この情報を用いて、医師は、当該境界領域が極めて重要であると思われる場合、針位置を確認するためにガントリを他の角度まで動かすことを決定することができる。この情報を用いて、医師は、針位置を確かめるために、例えばフィリップス社製XperCTを用いて３Ｄ再生を行うことを決定することができる。当該針は単純な湾曲で、単一の凹部のみを可能にするように曲がるとの仮定を用いて、医師に対し、２つの可能性のある姿勢を示すことができる（以下に説明する）。例えば前記光学カメラにより検出される身体の外側での曲がりを用いて、該身体内での曲がりを予測することができる。針が剛性のものである場合、正確な針の先端位置を三次元で決定することができる（即ち、境界ボックスは一点に縮小される）。

図９以下を参照して、幾つかの態様を更に説明する。図９ａには、Ｘ線源４１０が示されており、針４１２が該Ｘ線源４１０とＸ線検出器４１４との間に配置されている。検出器４１４上には、上記針の投影４１２’が点線により示されている。該Ｘ線画像及び、例えば、Ｃアームガントリの姿勢しか与えられない場合、当該針の正確な位置を知ることは不可能である。破線４１６、４１８により示される破線三角形内における可能性のある針の位置の数は無限である。これを克服するために、例えば図１０に示されるように、当該針を光学画像で追跡する必要がある。図１０は、当該針を表示する第１ライン５１０を示し、ここで、菱形５１２は頭部５１２を示す一方、ボール形状５１４は皮膚入口点を示す。更に、該光学画像はハンドル部５１６も示している。他のライン５１８は当該被検体内の可能性のある位置を示している。

図９ｂは、２つの異なる視角で（即ち、第１焦点４１０ａ及び第２焦点４１０ｂから）見た針４１２を示している。上記第１焦点は第１検出器４１４ａに向かって投射しており、第２焦点４１０ｂは検出器４１４ｂに向かって投射している。このように、各針投影４１２’ａ及び４１２’ｂが形成される。前記光学画像からの追跡された針の部分（フラグメント）は、３Ｄ空間に再投影することができる。各再投影の交差部は、３Ｄ空間における実際の針のフラグメントの位置を示す。図９ｂは、例えば、前記光学カメラにより供給される画像データに関するものであることに注意すべきである。針４１２を表すライン及び投影は、ここでも、一端に該針の頭部を表す菱形を、他端には該針の入口点を示すボール形状を伴って示されている。

図９ｃは剛性の又は真っ直ぐな針に関する第１実施態様を示すものであり、光学カメラ画像（図９ｂ参照）から取得された患者の身体の外側の針の部分の３Ｄ位置の合成、及び図９ａで説明したＸ線画像が、正確な３Ｄ針位置を供給するために組み合わされる。このようにして、患者の内側に挿入された部分も供給される。点線４２０は身体の内側に位置される部分を示す一方、直線４２２は当該針における身体の外側に位置する部分を示している。

第２実施態様では、当該針の長さの先験的知識が、光学カメラからの該針のフラグメントの３Ｄ位置と、剛性で真っ直ぐな針に関する患者の身体構造内での正確な位置が分かるように組み合わされる。

第３実施態様では、上述した方法の両方（Ｘ線画像を用いる及び針の長さの先験的知識を用いる）を、各結果を検証すると共に、位置の不確かさを示すために組み合わすことができる。

図９ｄに示された曲がる針に関する他の実施態様においては、光学カメラからの見える針部分を追跡することも非常に有効であり得る。先験的に分かる針の長さを用いて、該針の予測位置に関する体積的領域４２４を示すことができる。増加する曲がり角は益々起こりそうにないことを考慮に入れることができる。この場合、信頼領域を融合画像内で視覚化することができる。

他の実施態様において、本方法は、隠れた針部分における曲がりを、光学的に見える針部分で見付かる何れかの曲がりを外挿することによって推定することにより更に明確にすることができる。例えば、図９ｅは他の実施態様に関するもので、該実施態様において、光学カメラからの３Ｄで観察される針部分は、当該針の長さの先験的知識、Ｘ線画像及び当該針の曲がりに関する簡単なモデルと組み合わされて、全ての情報に適合する幾つかの解を見付けることが可能となる。図９ｅは、前述したような真っ直ぐなライン４２６により表された当該身体外に位置する針の部分、及び、これと組み合わせて、細い真っ直ぐなライン４２８で表された予測される針を示している。Ｘ線検出器４１４上には、対応する投影４３０が示されている。例えば、曲がりモデルとして、二次多項式又はスプラインを、３Ｄの光学的に見えるフラグメント４２６及びＸ線画像（即ち、投影４３０）と一緒に、実際の３Ｄの曲がった針部分４２８を予測するために使用することができる。

図１１は図７の線画のグラフィック表示を示し、図１２は図８のグラフィック表示を示し、図１３は図１０のグラフィック表示を示している。

本発明の他の実施態様においては、上記実施態様の１つによる方法のステップを適切なシステム上で実行するように構成されることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。

従って、上記コンピュータプログラム要素は、本発明の一実施態様の一部でもあり得るコンピュータユニットに記憶される。このコンピュータユニットは、上述した方法のステップを実行し又は実行を生じさせるよう構成することができる。更に、該コンピュータユニットは、前述した装置の構成部品を動作させるように構成することができる。該コンピュータユニットは自動的に動作し及び／又はユーザの指令を実行するように構成することができる。コンピュータプログラムは、データプロセッサのワークメモリにロードすることができる。このように、該データプロセッサは本発明の方法を実行するように装備され得る。

本発明の該実施態様は、最初から本発明を使用するコンピュータプログラム、及び既存のプログラムを更新により本発明を使用するプログラムに変化させるコンピュータプログラムの両方をカバーするものである。

更に、当該コンピュータプログラム要素は、前述した方法の実施態様の手順を満たすための全ての必要なステップを提供することができる。

本発明の他の実施態様によれば、ＣＤ−ＲＯＭ等のコンピュータ読取可能な媒体が提供され、該コンピュータ読取可能な媒体は前段落で説明したコンピュータプログラム要素を記憶している。

コンピュータプログラムは、光記憶媒体又は他のハードウェアと一緒に若しくは斯かるハードウェアの一部として供給される固体媒体により記憶及び／又は分配することができのみならず、インターネット又は他の有線若しくは無線通信システムを介して等のように他の形態で分配することもできる。

しかしながら、当該コンピュータプログラムはワールドワイドウェブ等のネットワーク上に提示することもでき、斯様なネットワークからデータプロセッサのワークメモリにダウンロードすることもできる。本発明の他の実施態様によれば、コンピュータプログラム要素をダウンロード用に利用可能にする媒体も提供され、該コンピュータプログラム要素は本発明の前述した実施態様の１つによる方法を実行するように構成される。

本発明の実施態様が異なる主題に関連して説明されたことに注意されたい。特に、幾つかの実施態様は方法のタイプの請求項に関連して説明され、他の実施態様は装置のタイプの請求項に関連して説明された。しかしながら、当業者であれば、上記及び以降の説明から、特に注記しない限り、１つのタイプの主題に属するフィーチャの任意の組み合わせにも加えて、異なる主題に関するフィーチャの間の組み合わせも本出願により開示されたものと見なされることが分かるであろう。しかしながら、全てのフィーチャは、フィーチャの単なる加算以上の相乗効果を提供するように組み合わせることができる。

以上、本発明を図面及び前記記載において詳細に図示及び説明したが、このような図示及び説明は解説的又は例示的なものであり、限定するものではないと見なされるべきである。本発明は、開示された実施態様に限定されるものではない。当業者であれば、請求項に記載された本発明を実施するに際して図面、本開示内容及び従属請求項の精査から、開示された実施態様の他の変形例を理解し、実施することができる。

尚、請求項において、“有する”なる文言は他の構成要素又はステップを排除するものではなく、単数形は複数を排除するものでもない。また、単一のプロセッサ又は他のユニットは、請求項に記載された幾つかの項目の機能を満たすことができる。また、特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これら手段の組み合わせを有利に使用することができないということを示すものではない。また、請求項における如何なる符号も、当該範囲を限定するものと見なしてはならない。

Claims (15)

1. 介入装置を追跡する医療撮像システムであって、
   − インターフェースユニットと、
   − 処理ユニットと、
   を有し、
   前記インターフェースユニットは、介入装置における被検体の外側に位置する第１部分の第１画像データを供給し、該第１画像データは３Ｄ画像データを有し、
   前記インターフェースユニットは、前記介入装置における前記第１部分の続きであって前記被検体の内側に少なくとも部分的に位置する第２部分の第２画像データを供給し、該第２画像データは２Ｄ画像データを有し、
   前記処理ユニットは、前記介入装置の第１の３Ｄモデル部分を前記第１画像データに基づいて計算すると共に、該介入装置の第２の３Ｄモデル部分を前記第２画像データ及び前記第１モデル部分に基づいて計算し、
   前記インターフェースユニットは、前記介入装置のグラフィック表現のデータを前記第１及び第２の３Ｄモデル部分に基づいて供給する、
   医療撮像システム。
2. 前記第１及び第２の３Ｄモデル部分に基づく前記介入装置のグラフィック表現を表示する表示ユニットを有する、請求項１に記載の医療撮像システム。
3. 第１画像取得装置と、
   第２画像取得装置と、
   を更に有し、
   前記第１画像取得装置は前記第１画像データを取得し、
   前記第２画像取得装置は前記第２画像データを取得する、
   請求項１又は請求項２に記載の医療撮像システム。
4. 前記第１画像データは少なくとも２つの光学カメラにより供給され、
   前記第２画像データは、
   ｉ）Ｘ線撮像装置、及び／又は
   ii）超音波撮像装置
   により供給される、
   請求項１、２又は３に記載の医療撮像システム。
5. 前記処理ユニットは前記第１の３Ｄ画像データ及び前記第２の２Ｄ画像データを位置合わせし、
   前記表示ユニットは、前記第１の３Ｄ画像データ及び前記第２の２Ｄ画像データを、前記第１及び第２の３Ｄモデル部分に基づく前記介入装置のモデル表現と一緒に合成画像で表示する、
   請求項２、３又は４に記載の医療撮像システム。
6. 前記処理ユニットは、前記第１モデル部分及び前記第２モデル部分を組み合わせて前記介入装置の３Ｄモデルを形成する、請求項１ないし５の何れか一項に記載の医療撮像システム。
7. 前記処理ユニットは、前記介入装置が位置する境界空間を決定し、
   前記処理ユニットは、前記境界空間を前記第１モデル部分及び前記第２モデル部分に基づいて、及び／又は前記介入装置の前記モデルに基づいて決定する、
   請求項１ないし６の何れか一項に記載の医療撮像システム。
8. 前記処理ユニットは、前記介入装置の所定の部分が位置する境界ボックスを決定する、請求項１ないし７の何れか一項に記載の医療撮像システム。
9. 前記介入装置は単純な湾曲幾何学形状に曲がる可撓性介入装置であり、
   前記処理ユニットは前記介入装置の２つの可能性のある曲がり姿勢を決定し、前記表示ユニットは該曲がり姿勢をユーザに提示する、
   請求項１ないし８の何れか一項に記載の医療撮像システム。
10. 前記処理ユニットは前記第１画像データに関して前記介入装置の曲がりを決定し、
    前記処理ユニットは前記被検体内の前記介入装置の曲がりを、前記第１画像データにおいて決定された曲がりに基づいて予測する、
    請求項１ないし９の何れか一項に記載の医療撮像システム。
11. 前記処理ユニットは前記第１の３Ｄ画像データ及び前記第２の２Ｄ画像データを位置合わせし、
    前記表示ユニットは前記位置合わせされた画像を合成画像で表示する、
    請求項１ないし１０の何れか一項に記載の医療撮像システム。
12. 被検体の内側に部分的に挿入された介入装置を追跡する方法であって、
    ａ）介入装置における被検体の外側に位置する第１部分の第１画像データを取得するステップであって、該第１画像データが３Ｄ画像データを有するステップと、
    ｂ）前記介入装置における前記第１部分の続きであって前記被検体の内側に位置する第２部分の第２画像データを取得するステップであって、該第２画像データが２Ｄ画像データを有するステップと、
    ｃ）前記介入装置の第１の３Ｄモデル部分を前記第１画像データに基づいて計算するステップと、
    ｄ）前記介入装置の第２の３Ｄモデル部分を前記第２画像データ及び前記第１モデル部分に基づいて計算するステップと、
    を有する、方法。
13. 前記ステップｄ）における前記第２の３Ｄモデル部分の計算が、前記介入装置の所定の長さにも基づくものである、請求項１２に記載の方法。
14. 請求項１ないし１１の何れか一項に記載のシステムを制御するためのコンピュータプログラムであって、処理ユニットにより実行された場合に請求項１２又は１３に記載の方法を実行する、コンピュータプログラム。
15. 請求項１４に記載のコンピュータプログラムを記憶したコンピュータ読取可能な媒体。

Images