JP2024515635A - 超音波及びカメラ画像から３ｄ画像を再構成するためのシステム及び方法 - Google Patents

Abstract

３Ｄ画像を再構成するための方法が提供され、この方法は、血管及び血管内の血流の測定を描写するドップラー超音波画像と、粘性材料内にランダムに分布し、個体の表面上にランダムな距離によって離隔されたフィデューシャルオブジェクトを描写するカメラによってキャプチャされた２Ｄカメラ画像とを取得することと、連続したカメラ画像内のフィデューシャルオブジェクトの位置における相対変化の解析によって計算された超音波トランスデューサの姿勢の外部基準を使用して、ドップラー画像のピクセルについて世界座標系内の３Ｄ座標を計算することと、血管内の位置でドップラー画像のピクセルについてそれぞれの推定血流量を計算することと、それぞれの推定血流量を含む、ドップラー画像のピクセルの３Ｄ座標から計算された３Ｄボクセルから３Ｄ画像を再構成することであって、３Ｄ画像は血管及び血流を描写する、再構成することとを含む。【選択図】なし

Description

関連出願
本出願は、２０２１年４月１３日に出願された米国仮特許出願第６３／１７４，０６４号の優先権の利益を主張するものであり、参照により、その内容全体が本明細書に組み込まれる。

本発明は、そのいくつかの実施形態では、医用超音波画像の処理に関し、より具体的には、２Ｄ超音波画像から３Ｄ医用画像の再構成に関する。

超音波検査（ＵＳ）は、多くの場合、臨床解析及び医療行為に対して最も安全で最も安価な手法と考えられている。ＵＳ画像は常に２Ｄ画像としてキャプチャされる。３Ｄ超音波画像を生成するアプローチもある。

第一態様によれば、個体の血管内の血流量を描写する３Ｄ画像を再構成するためのコンピュータ実装方法は、血管をその中に血液が流れている状態で描写し、血管の領域内の血流量の測定を描写するドップラー超音波画像と、粘性材料内にランダムに分布し、個体の身体セグメントの表面上にランダムな距離によって離隔された複数のフィデューシャルオブジェクトを描写するカメラによってキャプチャされた２Ｄカメラ画像とを取得することであって、ドップラー超音波画像は少なくとも１つのドップラー超音波画像を含み、２Ｄカメラ画像は少なくとも１つの２Ｄカメラ画像を含む、取得することと、連続した２Ｄカメラ画像内の複数のフィデューシャルオブジェクトの位置における相対変化の解析によって計算された超音波トランスデューサの姿勢の外部基準を使用して、ドップラー超音波画像のそれぞれのピクセルについて世界座標系内の３Ｄ座標を計算することと、血管内の複数の位置でドップラー超音波画像の複数のピクセルのそれぞれについてそれぞれの推定血流量を計算することと、それぞれの推定血流量を含む、ドップラー超音波画像のピクセルの３Ｄ座標から計算された３Ｄボクセルから３Ｄ画像を再構成することであって、３Ｄ画像は血管の解剖学的画像を描写し、血流を描写する、再構成することとを含む。

第一態様のさらなる実装形態では、３Ｄ座標は、フィデューシャルオブジェクトのサイズを使用することによって、及び／または慣性計測ユニット及び別のカメラからなる群から選択された他のセンサからの情報を追加することによって、世界座標系に対する実際のスケールに補正することによってさらに計算される。

第一態様のさらなる実装形態では、３Ｄ画像は、個体の身体セグメントの表面を描写する３Ｄ点群またはメッシュから計算されたボクセルをさらに含む。

第一態様のさらなる実装形態では、各ドップラー超音波画像のピクセルの３Ｄ座標を計算することは、連続した２Ｄカメラ画像内の複数のフィデューシャルオブジェクトの位置における相対変化を解析することによって世界座標系に対するカメラ座標系でのカメラの姿勢を計算することと、カメラ座標系に対して超音波座標系で表された超音波画像のピクセルをマッピングするための較正マッピングを適用することであって、較正マッピングはカメラの姿勢と超音波トランスデューサの姿勢との間の所定の変換に基づいている、適用することと、カメラ座標系で表された超音波画像のピクセルを世界座標系内の３Ｄ座標にマッピングすることとを含む。

第一態様のさらなる実装形態では、それぞれの推定血流量を計算することは、血流量が測定される血管の方向を示すベクトルに対してある角度に位置した超音波トランスデューサによってキャプチャされたドップラー超音波画像から計算された推定血流量を含み、さらにこの角度の推定血流量を補正して、推定実血流量を取得することを含む。

第一態様のさらなる実装形態では、補正することは、血管の楕円形状の境界を識別することと、楕円形状から円形への変換を計算することと、この変換を適用して測定された血流速度ベクトルを投影し、実血流量を取得することとを含む。

第一態様のさらなる実装形態では、複数のドップラー超音波画像のそれぞれのそれぞれの取得面から取得された複数の３Ｄ点の集約に基づいて血管の長手方向軸の推定値を計算し、長手方向軸に対する現在の接線を計算することをさらに含み、補正することは、接線と、接線によって示されたそれぞれの取得面の法線との間の角度に基づいて、血流量の測定値を補正することを含む。

第一態様のさらなる実装形態では、事前に計算された３Ｄ動脈オブジェクト内の血流量の推定値を計算することと、３Ｄ動脈オブジェクト内の血流量の推定値を計算するために、複数のドップラー超音波画像のそれぞれのそれぞれの取得面から取得された数値流体力学シミュレーション及び３Ｄ点を使用することとをさらに含む。

第一態様のさらなる実装形態では、それぞれの３Ｄボクセルごとに、複数の初期推定血流量値と、それぞれの初期推定血流量を計算するために使用されたそれぞれのドップラーＵＳ画像がキャプチャされる超音波トランスデューサの平面に対する対応する法線とを格納することと、記録血流速度ベクトルと想定流速ベクトルとの間の投影誤差を最小にすることに基づいて各ボクセルで実血流量を推定することとをさらに含む。

第一態様のさらなる実装形態では、複数の心周期に特異的な位置で矢状ビュー上に血管内の容積流量を取得して、複数の心周期にわたる平均容積流量を計算することと、－１～１の範囲内の実数を表すガンマ値を計算して、平均容積流量及び推定実血流量を補正することと、ガンマ値の逆数を使用することによってコサイン角を計算することと、コサイン角、及び推定血流量と実血流量との間のドット積を使用して平均容積流量を補正することとをさらに含む。

第一態様のさらなる実装形態では、（ｉ）ドップラー超音波画像及び２Ｄカメラ画像を取得することと、（ｉｉ）Ｂモード超音波画像及び２Ｄカメラ画像を含む第二画像を取得することとを交互に行うことと、各Ｂモード超音波画像のピクセルの３Ｄ座標を世界座標系で計算することとをさらに含み、それぞれの推定血流量を含む、Ｂモード超音波画像及びドップラー超音波画像のピクセルの３Ｄ座標を集約することによって計算された３Ｄボクセルからの３Ｄ画像を世界座標系で再構成することを含み、３Ｄ画像は、Ｂモードのピクセルから取得された３Ｄボクセルの集約から作成された血管の解剖学的画像を描写し、Ｂモードのピクセルから取得された３Ｄボクセルに関連する血流を描写する。

第一態様のさらなる実装形態では、それぞれの推定血流量は血管内の複数の位置に対応する３Ｄ画像の３Ｄボクセルのカラーコード化として描写され、ドップラー超音波画像のピクセルは、血流量を示すようにカラーコード化され、カラーピクセルをセグメント化することをさらに含み、３Ｄ画像は、セグメント化されたカラーピクセルに対応する３Ｄボクセルから再構成される。

第一態様のさらなる実装形態では、３Ｄボクセルのそれぞれの推定血流量は、撮像時間間隔にわたる最大値として選択され、この撮像時間間隔中に３Ｄボクセルに対応する血管内の領域を描写するドップラー超音波画像がキャプチャされる。

第一態様のさらなる実装形態では、３Ｄボクセルを計算するために使用された複数のドップラー超音波画像は、血流量におけるばらつきを描写する撮像時間間隔にわたりキャプチャされ、再構成された３Ｄ画像は、３Ｄボクセルについて、撮像時間間隔にわたる血流量におけるばらつきのそれぞれのインジケーションを含む。

第一態様のさらなる実装形態では、再構成された３Ｄ画像は、撮像時間間隔にわたる３Ｄボクセルに対応する血流量のインジケーションを変動させることによって、撮像時間間隔にわたるビデオとして提示される。

第二態様によれば、個体の身体セグメントを描写する２Ｄ超音波画像から再構成された３Ｄ画像をセグメント化するためのコンピュータ実装方法は、身体セグメントの共通領域を描写する２Ｄ超音波画像と、粘性材料内に３Ｄでランダムに分布し、身体セグメントの表面上にランダムな距離によって離隔された複数のフィデューシャルオブジェクトを描写するカメラによってキャプチャされた２Ｄカメラ画像とを取得することと、連続した２Ｄカメラ画像内の複数のフィデューシャルオブジェクトの位置における相対変化の解析によって計算された超音波トランスデューサの姿勢の外部基準を使用して各２Ｄ超音波画像のピクセルに割り当てられた世界座標系内の３Ｄ座標を有する複数の３Ｄボクセルを計算することと、複数の３Ｄボクセルから３Ｄ画像を再構成することと、３Ｄボクセルごとに、超音波トランスデューサの姿勢と、超音波トランスデューサのそれぞれの３Ｄボクセル及びそれぞれの姿勢に対応する３Ｄ座標で取得された強度値との間の多次元スパースデータセットのマッピングを格納することと、複数の３Ｄボクセルを、複数の３Ｄボクセルの多次元データセットの分布に従って複数のクラスタにクラスタリングすることと、複数のクラスタに従って３Ｄ画像をセグメント化することとを含む。

第二態様のさらなる実装形態では、フィデューシャルオブジェクトのサイズを使用することによって、及び／または慣性計測ユニット及び別のカメラからなる群から選択された他のセンサからの情報を追加することによって、世界座標系に対する実際のスケールに３Ｄボクセルを補正することをさらに含む。

第二態様のさらなる実装形態では、各２Ｄ超音波画像のピクセルの３Ｄ座標を計算することは、連続した２Ｄカメラ内の複数のフィデューシャルオブジェクトの位置における相対変化を解析することによって世界座標系に対するカメラ座標系でのカメラの姿勢を計算して、フィデューシャルオブジェクトのサイズを使用することによって、及び／または慣性計測ユニット及び別のカメラからなる群から選択された他のセンサからの情報を追加することによって、世界座標系に対する実際のスケールに補正することと、カメラ座標系に対して超音波座標系で表された２Ｄ超音波画像のピクセルをマッピングするための較正変換を適用することであって、較正マッピングはカメラの姿勢と２Ｄ超音波画像をキャプチャする超音波トランスデューサの姿勢との間の所定の関係に基づいている、適用することと、カメラ座標系で表された２Ｄ超音波画像のピクセルを世界座標系内の３Ｄ座標にマッピングすることとを含む。

第二態様のさらなる実装形態では、クラスタリングすることは、テクスチャを囲む色、強度など、ある計算された値の分布に関する領域内の類似したボクセルを発見するための多様体学習技術に基づいて実行される。

第二態様のさらなる実装形態では、クラスタリングすることは、超音波トランスデューサに対するそれぞれのボクセルに対応する位置の異なる角度及び／または距離に関してキャプチャされた超音波データにおける変化の類似したパターンに従って複数の３Ｄボクセルをクラスタリングすることによって実行される。

第二態様のさらなる実装形態では、それぞれのクラスタでの３Ｄボクセルは、超音波トランスデューサに対して異なる角度及び／または距離のキャプチャされた超音波データにおける変化のそれぞれの類似したパターンを作成する、それぞれの組織型を指示する。

第三態様によれば、個体の身体セグメントの表面及び内部の３Ｄ画像を再構成するためのコンピュータ実装方法は、個体の身体セグメント内の組織を描写する２Ｄ超音波画像と、粘性材料内に３Ｄでランダムに分布し、身体セグメントの表面上にランダムな距離によって離隔された複数のフィデューシャルオブジェクトを描写し、身体セグメントの表面を描写するカメラによってキャプチャされた２Ｄカメラ画像とを取得することと、連続した２Ｄカメラ画像内の複数のフィデューシャルオブジェクトの位置における相対変化の解析に基づいて、各２Ｄカメラ画像のピクセルの３Ｄ座標と、各２Ｄ超音波画像のピクセルの３Ｄ座標とを共通座標系で計算することと、２Ｄカメラ画像及び２Ｄ超音波画像の３Ｄ座標を集約することによって計算された共通座標系で３Ｄボクセルから３Ｄ画像を再構成することであって、３Ｄ画像は身体セグメントの表面と、患者の表面に対して位置した身体セグメント内の組織とを描写し、再構成された３Ｄ画像は少なくとも１つの再構成された３Ｄ画像を含む、再構成することとを含む。

第三態様のさらなる実装形態では、ドップラー及びＢモードのうちの少なくとも１つを含む追加の情報層を備えた少なくとも１つの再構成された３Ｄ画像は、血管、臓器、関節、骨、軟骨、非血液充填腔、肝臓、胆嚢、甲状腺のうちの少なくとも１つを含む、いずれかの適合性のある超音波臓器スキャン手技で選択された組織を描写し、これら組織を１つの臓器全体または臓器の一部に融合する。

第三態様のさらなる実装形態では、フィデューシャルオブジェクトのサイズを使用することによって、及び／または慣性計測ユニット及び別のカメラからなる群から選択された他のセンサからの情報を追加することによって、世界座標系に対する実際のスケールに３Ｄ座標を補正することをさらに含む。

第三態様のさらなる実装形態では、共通座標系は、実世界距離及び位置を描写する実世界座標系であり、３Ｄ画像は、実世界座標での距離及び相対位置を使用して、身体セグメントの表面及び身体セグメント内の組織を描写する。

第三態様のさらなる実装形態では、共通座標系で計算することは、連続した２Ｄカメラ画像内の複数のフィデューシャルオブジェクトの位置における相対変化を解析することによって共通座標系に対するカメラ座標系でのカメラの姿勢を計算して、フィデューシャルオブジェクトのサイズを使用することによって、及び／または慣性計測ユニット及び別のカメラからなる群から選択された他のセンサからの情報を追加することによって、世界座標系に対する実際のスケールに補正することと、体の表面を描写する２Ｄカメラ画像のピクセルを共通座標系内の３Ｄ座標にマッピングすることと、カメラ座標系に対して超音波座標系で表された２Ｄ超音波画像のピクセルをマッピングするための較正変換を適用することであって、較正マッピングはカメラの姿勢と２Ｄ超音波画像をキャプチャする超音波トランスデューサの姿勢との間の所定の関係に基づいている、適用することと、カメラ座標系で表された２Ｄ超音波画像のピクセルを共通座標系内の３Ｄ座標にマッピングすることとを含む。

第三態様のさらなる実装形態では、身体セグメントの共通領域で超音波画像及びカメラ画像を取得することを繰り返すことと、共通座標系で計算することを繰り返すこととをさらに含み、３Ｄ画像を再構成することを繰り返すことは、現在の繰り返しで計算された３Ｄボクセルによって以前の繰り返しの以前の３Ｄ画像を繰り返し更新して、以前の３Ｄ画像より高い解像度を有する更新された３Ｄ画像を取得することを含む。

第三態様のさらなる実装形態では、身体セグメントを描写する３Ｄ解剖学的画像を受信することであって、３Ｄ解剖学的画像は別の３Ｄ撮像モダリティデバイスによってキャプチャされる、受信することと、身体セグメントの表面から抽出された特徴に従って、３Ｄ解剖学的画像と再構成された３Ｄ画像との間でレジストレーションすることとをさらに含む。

第四態様によれば、粘性材料は、対象の体表面に塗布するために、粘性材料内にランダムに分布し、ランダムな距離によって離隔された複数のフィデューシャルオブジェクトを含有する流体の少なくとも一部を含み、複数のフィデューシャルオブジェクトは、２Ｄカメラ画像によって描写され、超音波トランスデューサの姿勢を推定するために使用された３Ｄボクセルを取得するための２Ｄ超音波画像のピクセルに割り当てられる３Ｄ座標の計算に使用されるための粘性材料に対するサイズ及びコントラストを有する。

第四態様のさらなる実装形態では、体の内部または患者の身体領域の表面のいずれか１つを描写する３Ｄ超音波画像の再構成を計算することをさらに可能にする。

第四態様のさらなる実装形態では、粘性材料は超音波ゲルを含み、３Ｄ画像は超音波ゲルを介して伝達された超音波エネルギーによってキャプチャされた２Ｄ超音波画像から再構成される。

第四態様のさらなる実装形態では、複数のフィデューシャルオブジェクトは、超音波ゲルを介して伝達された２Ｄ超音波画像中に描写されないように選択された小さいサイズを有する、及び／またはそのように選択された音響材料から作られる。

第四態様のさらなる実装形態では、複数のフィデューシャルオブジェクトは、粘性材料内の特異的な位置では固定されておらず、粘性材料の運動に応答して粘性材料内で流動する。

第四態様のさらなる実装形態では、複数のフィデューシャルオブジェクトのそれぞれのサイズは、約０．５～１ミリメートルである。

第四態様のさらなる実装形態では、複数のフィデューシャルオブジェクトは、紫外光に反応して視覚的に増強される材料で作られる。

第四態様のさらなる実装形態では、複数のフィデューシャルオブジェクトは蛍光材料で作られる。

第四態様のさらなる実装形態では、複数のフィデューシャルオブジェクトは球形状に作られる。

第四態様のさらなる実装形態では、複数のフィデューシャルオブジェクトの密度は１ミリリットルあたり約１～１０００個である。

第五態様によれば、個体内の血管病態を治療する方法は、３Ｄでランダムに分布し、ランダムな距離によって離隔された複数のフィデューシャルオブジェクトを含有する流体の少なくとも一部を含む粘性材料を、関心対象の血管に対応する位置で個体の身体セグメントの表面に塗布し、少なくとも１つのカメラを含むアドオンコンポーネントを備えた超音波トランスデューサのプローブを体表面に沿って操作して、体内の血管の超音波画像と、身体セグメントの表面を描写し、複数のフィデューシャルオブジェクトを描写するカメラ画像とを同時にキャプチャし、実世界座標を表す共通３Ｄ座標系内に位置した血管及び身体セグメントの表面の３Ｄ画像の再構成を解析し、身体セグメントの表面に対する血管の３Ｄ画像の再構成に基づいて血管病態を診断し、開放手術及び／またはカテーテル手技中に血管病態を治療することを含む。

第五態様のさらなる実装形態では、治療された血管病態を描写する血管の超音波画像を同時にキャプチャするように体の表面上でプローブを再操作し、超音波画像とプローブの再操作中にキャプチャされたカメラ画像とから作成された血管の別の３Ｄ再構成で治療された血管病態を解析し、別の３Ｄ再構成に基づいて別の治療手技を必要とすると治療された血管病態が決定される場合、治療された血管病態を再治療することをさらに含む。

第五態様のさらなる実装形態では、超音波トランスデューサを、血管病態に対応する表面の小領域内で超音波トランスデューサの軸方向及び／または長手方向の方位に繰り返し操作して、血管病態の複数の超音波画像を異なる角度及び距離でキャプチャすることをさらに含み、３Ｄ画像内の血管病態の解像度は、小領域上の超音波トランスデューサの操作数が増加するにつれて高まる。

第五態様のさらなる実装形態では、３Ｄ画像は、組織型に従ってセグメント化され、３Ｄ画像のセグメント化を解析して血管治療の有効性を決定することをさらに含む。

第五態様のさらなる実装形態では、身体セグメントの表面に対する血管の３Ｄ画像の再構成に基づいて血管病態を診断することは、３Ｄ画像によって描写された血管の血流量にさらに基づいている。

第五態様のさらなる実装形態では、治療は、カテーテルによって送達されるステント、バルーン拡張、アブレーション、薬物注入、及び手技による切除及び／または修復からなる群から選択される。

第六態様によれば、超音波伝達に対して固定した方位に位置したカメラによってキャプチャされたカメラ画像、及び超音波トランスデューサによってキャプチャされた超音波画像に適用された変換マッピングの較正のための較正デバイスは、超音波透過性超音波検査用媒体を含有する円形状頂面を有する単一区画、及びこの区画の円形状頂面の外側周囲長の外部に配置されたグランドトゥルースパターンを含み、区画及びグランドトゥルースパターンは、超音波トランスデューサが区画の頂部上に置かれる場合、カメラがグランドトゥルースパターンのカメラ画像をキャプチャし、超音波トランスデューサが区画の内部の超音波画像を、円形状頂面から底面までキャプチャするように位置決めされる。

第七態様によれば、超音波プローブへのアドオンは、超音波トランスデューサのプローブに接続するサイズ及び形状に作られたコネクタ構成要素、第一カメラを含む第一カメラハウジング、及び第二カメラを含む第二カメラハウジングを備え、第一カメラハウジング及び第二カメラハウジングは、第一カメラ及び第二カメラを、超音波プローブに対して、そして超音波トランスデューサによってキャプチャされた超音波画像に対して所定の角度で固定するように、それぞれがコネクタ構成要素の長軸に対して所定の角度に置かれる。

第七態様のさらなる実装形態では、人間工学に基づいたホルダー構成要素をさらに含み、このホルダー構成要素は、ユーザの手の手掌に対して保持されるように設計されたグリップ、及びユーザの人差し指を支持するように設計されたリングまたはトリガ様要素を含む。

第七態様のさらなる実装形態では、第一カメラハウジング及び第二カメラハウジングは、コネクタ構成要素の長軸に対して垂直である約９０度で分離される。

別段の定義の無い限り、本明細書で使用されるすべての技術用語及び／または科学用語は、本発明が属する技術分野の当業者が一般的に理解するものと同じ意味を有する。本発明の実施形態の実践または試験には、本明細書に記載したものと類似または同等の方法及び材料を用いることができるが、例示的な方法及び／または材料を以下に記載する。矛盾する場合、定義を含む特許明細書が優先する。さらに、材料、方法、及び例は、一例にすぎず、必ずしも限定することを意図していない。

本発明のいくつかの実施形態を、本明細書では、単なる例示として、添付の図面を参照しながら説明する。ここで図面を詳細にわたって具体的に参照するが、図示されている細部は例示として本発明の実施形態を説明的に考察することを目的としたものであることを強調しておく。この点に関して、図面を用いた説明は、本発明の実施形態がどのように実施され得るかを当業者に明らかにする。

本発明のいくつかの実施形態による、粘性材料中にランダムに分布したフィデューシャルオブジェクトの解析に基づいて超音波画像及びカメラ画像から３Ｄ画像を生成するためのシステム１００のコンポーネントのブロック図である。 本発明のいくつかの実施形態による、粘性材料中にランダムに分布したフィデューシャルオブジェクトの解析に基づいて超音波画像及びカメラ画像から３Ｄ画像を生成する方法のフローチャートである。 本発明のいくつかの実施形態による、粘性材料中にランダムに分布したフィデューシャルオブジェクトの解析に基づいて超音波画像及びカメラ画像から生成された３Ｄ画像に従って血管病態を診断する及び／または治療する方法のフローチャートである。 本発明のいくつかの実施形態による、３Ｄ画像を再構成するために使用されるカメラ画像をキャプチャするために、超音波ゲルを、その中でフィデューシャルオブジェクトがランダムに分布している状態で塗布するプロセスを描写する概略図を含む。 本発明のいくつかの実施形態による、カメラが超音波ゲル内にランダムに分布しているフィデューシャルオブジェクトのカメラ画像をキャプチャし、このゲルを介して超音波プローブの超音波トランスデューサが超音波画像をキャプチャすることを描写する概略図である。 本発明のいくつかの実施形態による、超音波画像に描写された組織の３Ｄ空間Ｖｘ、Ｖｘ、Ｖｚモジュール内の３Ｄ座標を計算するための超音波トランスデューサの例示的なｘ、ｙ、ｚ軸を描写する概略図である。 本発明のいくつかの実施形態による、超音波トランスデューサによって複数の方位で取得された血管の超音波画像内の血液の流動の補正を描写する概略図である。 本発明のいくつかの実施形態による、狭窄などの血管病態を描写し、動脈を通る血流速度を指示する動脈の画像を含む３Ｄ画像の再構成を描写する概略図である。 本発明のいくつかの実施形態による、１ボクセル及び／またはボクセル群に対応する１セットの３Ｄ座標の多次元の（任意選択でスパースな）１データセットに関するデータを収集するプロセスを描写する概略図である。 本発明のいくつかの実施形態による、特定のボクセルの特定の３Ｄ座標の多次元データセットの球体としての表現を描写し、グレー色の値が様々なトランスデューサの姿勢から取得された異なるＢモードグレースケール値を描写する概略図である。 本発明のいくつかの実施形態による、異なる組織型にセグメント化された動脈を含む（任意選択でスパースな）多次元データセットのクラスタのセグメント化に基づいた３Ｄ画像の再構成を描写し、血流量値を描写する概略図である。 本発明のいくつかの実施形態による、対象の腕の表面上にパターンを描写するカメラ画像と、上腕動脈の超音波画像とに基づいて計算された上腕動脈の例示的な３Ｄ画像を描写する概略図である。 本発明のいくつかの実施形態による、フィデューシャルオブジェクトがランダムに分布している超音波ゲルによるカメラ画像及び超音波画像から計算された３Ｄ画像の生成の環境シーンを描写する概略図である。 本発明のいくつかの実施形態による、カメラによってカメラ画像をキャプチャするための超音波プローブ、及び３Ｄ画像を再構成するために使用される超音波画像をキャプチャするための超音波トランスデューサへのアドオンを描写する概略図である。 本発明のいくつかの実施形態による、超音波プローブに接続するサイズ及び形状に作られたコネクタ構成要素と、プローブの超音波トランスデューサの長軸に対応するコネクタ構成要素の長軸に対して所定の角度に置かれたカメラとを含む、超音波プローブへの例示的なアドオンを描写する概略図である。 本発明のいくつかの実施形態による、超音波プローブへのアドオンの別の例示的な実装の概略図である。 本発明のいくつかの実施形態による、較正デバイスの例示的な実装を描写する。 本発明のいくつかの実施形態による、別の較正デバイスの別の例示的な実装を描写する。 本発明のいくつかの実施形態による、既存のアプローチを用いた標準的な血管治療を描写する概略図であり、超音波画像及びカメラ画像から作成された３Ｄ点群及び／またはメッシュの３Ｄ動脈を用いる血管治療を描写する概略図である。 本発明のいくつかの実施形態による、既知の３Ｄ血管モデル及び数値流体力学シミュレーションを用いて計算される、複数の方位及び／または位置で超音波トランスデューサによって取得された血管内の血流量の推定値を描写する概略図である。 本発明のいくつかの実施形態による、超音波プローブへのアドオンの別の例示的な実装の概略図である。 本発明のいくつかの実施形態による、超音波プローブへのアドオンの別の例示的な実装の概略図である。

本発明は、そのいくつかの実施形態では、医用超音波画像の処理に関し、より具体的には、２Ｄ超音波画像から３Ｄ医用画像の再構成に関する。

本明細書に記載される実施形態は、血流の有り無しで、ドップラー（例えば、グレースケールのみ）の有り無しで、有孔臓器のホリスティック撮像に適合性のある臓器（例えば、肝臓、胆嚢、甲状腺、関節など）を描写する３Ｄ医用画像に関し得る。

本明細書に記載される実施形態は、１つ以上の血管、例えば、大腿動脈、頸動脈、大動脈、及び／または他の体内組織、例えば、腎臓、肝臓、胆嚢、脾臓、及び甲状腺などの臓器を描写する３Ｄ医用画像に関し得る。体部位、例えば、関節、骨、軟骨などには、必ずしも画像に描写されるほど大きい血管が描写されていないことがある。体部位には、空気を含む体部位、例えば、肺及び腸などの空気で満たされた臓器が描写される場合がある。体部位は、流体で満たされている場合、その流体が必ずしも血液でなくてもよく、及び／または例えば、膀胱及び膿瘍などの非血液で満たされた腔は、必ずしもかなりの流量で流動しなくてもよい。

ドップラーに関して本明細書に記載された実施形態は必ずしも限定的な例ではなく、代わりに、または追加して、他の超音波撮像モダリティではＢモードなどが使用されてもよい。本明細書で使用される場合、ドップラーという用語は、関連がある場合、Ｂモードという用語と置き換えられてもよい。

本明細書で使用される場合、ドップラー超音波画像という用語は少なくとも１つのドップラー超音波画像を指し、２Ｄカメラ画像という用語は少なくとも１つの２Ｄカメラ画像を指し、再構成された３Ｄ画像という用語は少なくとも１つの再構成された３Ｄ画像を指し、他の画像についても同様である。

本発明のいくつかの実施形態の態様は、フィデューシャルオブジェクトを含有する流体（任意選択で超音波検査用ゲル）の少なくとも一部を含む粘性材料に関し、このフィデューシャルオブジェクトは、ランダムに、すなわち三次元で粘性材料（例えば、超音波検査用ゲル）内に分布し、ランダムな距離で離隔される。フィデューシャルオブジェクトは、０．５～１ミリメートルの範囲内などの直径を有する、例えば、異なる色の小さい球体であり得る。超音波検査用ゲルなどの粘性材料は、皮膚など、対象の体の表面に塗布されるように設計され、この表面に接触する超音波トランスデューサと、体内の解剖学的構造体との間で超音波エネルギーを伝達し、体の内部の２Ｄ超音波画像をキャプチャする。フィデューシャルオブジェクトは、超音波検査用ゲルなど粘性材料に対してサイズ及びコントラストを有し、２Ｄカメラ画像によって描写され、２Ｄ超音波画像に割り当てられる３Ｄ座標、例えば、２Ｄ超音波画像内の２Ｄピクセルに割り当てられる３Ｄ座標の計算に使用され、体の内部を描写する３Ｄ超音波画像の再構成が生成される。

血流は、動脈及び／または静脈などの血管内で流動する血液を指す場合がある。血液は、例えば、狭窄を通り（例えば、本明細書に記載の通り）、プラークを越え、及び／または血管の内壁を越え、流動することができる。血流は、血流の速さ及び／または方向を指示し得る、速度を用いて測定されてもよい。血液速度は、センチメートル毎秒単位などで測定されてよい。血液容量は、立方センチメートル毎秒単位などの血流量で測定され得る。方向は、例えば、血管の長軸に対する度数など、基線に対する度数で測定されることができる。例示的な血管には、頸動脈、大動脈、大腿動脈、上大静脈及び／または下大静脈、上腕、腎動脈、肝動脈、及び／または体の他の位置のその他の血管が含まれる。血流の他の詳細は本明細書に記載されている。

本発明のいくつかの実施形態の態様は、撮像された血管全体など、血管の複数の３Ｄ位置での血流を描写する３Ｄ画像の再構成に関する。本明細書で言及される場合、３Ｄ画像は、３Ｄ点群、メッシュ３Ｄオブジェクト、グラフ３Ｄなどとして記述されてもよい。血管を、その中に血液が流れている状態で描写するドップラー超音波画像と、血管の領域内の血流量の測定値とが取得される。例えば、２Ｄ超音波画像は、２Ｄ超音波画像のピクセルの血管と血液速度の測定値とを描写する。この画像は、標準ドップラーモード測定値に関連する標準Ｂモード画像であってもよい。超音波検査用ゲルなどの粘性材料内に３Ｄでランダムに分布し、身体セグメントの表面上でランダムな距離によって離隔されたフィデューシャルオブジェクトを描写する、カメラによってキャプチャされた２Ｄカメラ画像が取得される。カメラ画像は超音波検査用画像と同時に取得されてもよく、例えば、カメラは超音波プローブへのアドオンである。各ドップラー超音波画像のピクセルについて、実世界の距離及び位置を描写する世界座標系内の３Ｄ座標が計算される。世界座標系は３Ｄ座標のスケールを規定し、この３Ｄ座標のスケールはユークリッド空間内にあり得、実世界での距離及び位置に対応し、つまり、空間の変形が適用されない。世界座標系のスケールは、実世界の距離を使用して１：１または別のスケールであり得、例えば、画像に描写された皮膚と動脈との間の５ｃｍの距離は実際の対象の体内では５ｃｍの距離を表す。３Ｄ座標は、ドップラー画像をキャプチャするために使用される超音波トランスデューサの姿勢の外部基準を使用して計算される。この外部基準は、ドップラー画像がキャプチャされている間、超音波プローブが操作されている場合にキャプチャされる連続した２Ｄカメラ画像内のフィデューシャルオブジェクトの位置における相対変化の解析によって計算される。外部基準内の２Ｄカメラの３Ｄ位置及び／または姿勢は、フィデューシャルオブジェクトの位置における相対変化の解析に基づいて計算される。超音波トランスデューサの３Ｄ位置及び／または姿勢は、例えば、カメラ及び超音波トランスデューサの位置及び／または方位の間の既知の較正固定変換に基づいて、２Ｄカメラの３Ｄ位置及び／または姿勢から計算される。カメラ及び超音波トランスデューサの位置及び／または方位に従って、外部基準内のドップラー画像の位置が計算される。外部基準内のドップラー画像の位置は、較正マッピング関数によって世界座標系にマッピングされる。世界単位でのトランスデューサの構造及び／または運動の実際のスケールの補正は、フィデューシャルオブジェクトのアプリオリな既知のサイズ、例えば、球体の直径を推定するような追加の情報によって、及び／または追加のセンサ、例えば、慣性計測ユニット、追加のカメラなどからの追加の情報によって、取得されてよい。血管内の複数の位置でのドップラー超音波画像の複数のピクセルについて、それぞれの推定血流量を計算する。測定された血流量は、ＵＳビームを伝送する超音波トランスデューサ軸と、血管内の血流の方向を示すベクトルとの間の角度を推定することにより、実血流量値を取得するように補正される。世界座標系で３Ｄボクセルから３Ｄ画像を再構成する。３Ｄボクセルは、ドップラー超音波画像のピクセルに３Ｄ座標を割り当てることによって計算される。各３Ｄボクセルは、それぞれ推定血流量に関連付けられる。３Ｄ画像は、血管の解剖学的画像を描写し、血管内の複数の位置での血流量のインジケーションを描写する。例えば、異なる血液速度がカラーコード化され得ることにより、血管内での血流が速い位置、及び／または血管内での血流が遅い位置の視覚的提示が可能になる。これにより、血管病態、例えば、血管の狭い範囲内で血流速度が速くなる場合の狭窄の診断が可能になる。

本発明のいくつかの実施形態の態様は、個体の身体セグメントの表面（例えば、皮膚）及び体内構造体、例えば、大腿動脈及び脚の皮膚を描写する３Ｄ画像の再構成に関する。表面及び体内構造体を同じ３Ｄ画像内の同じ座標セット内で提示することで、表面に対する体内構造体の位置、例えば、脚の皮膚に対する大腿動脈の位置の可視化が可能になる。個体の身体セグメント内の内部組織を描写する２Ｄ超音波画像を取得する。カメラによってキャプチャされ、身体セグメントの表面を描写し、そして粘性材料（例えば、超音波ゲル）内に３Ｄでランダムに分布して身体セグメントの表面上にランダムな距離で離隔されるフィデューシャルオブジェクトを描写する２Ｄカメラ画像を取得する。カメラ及び超音波画像は同時及び／またはほぼ同時に取得されてもよい。２Ｄカメラ画像のピクセルの３Ｄ座標と、２Ｄ超音波画像のピクセルの３Ｄ座標とは、共通座標系で計算され、及び／または２つカメラを使用することによって、及び／または慣性計測ユニットによって、または球体などのフィデューシャルオブジェクトの平均サイズを予め知ることによってスケールが補正される。３Ｄ座標は、連続した２Ｄカメラ画像内のフィデューシャルオブジェクトの位置における相対変化の解析に基づいて計算される。３Ｄボクセルは、カメラ画像及び超音波画像のピクセルに３Ｄ座標を割り当てることによって計算される。３Ｄ画像は、超音波ゲル内に埋め込まれたフィデューシャルマーカに対するカメラの運動の使用によって決定される、世界座標フレーム内のトランスデューサの運動に基づいて３Ｄボクセルの位置を計算することによって再構成される。３Ｄ再構成（例えば、３Ｄ画像）は、身体セグメントの表面、及び表面に対して配置された身体セグメント内の組織も描写する。ドップラー及び／またはＢモードなどを含む追加の情報層を備えた、再構成された３Ｄ画像は、血管、臓器、関節、骨、軟骨、非血液充填腔、生の胆嚢、甲状腺のうちの少なくとも１つを含む、いずれかの適合性のある超音波臓器スキャン手技で選択された組織を描写し、これら組織を１つの臓器全体または臓器の一部に融合する。

本発明のいくつかの実施形態の態様は、２Ｄ超音波画像から再構成された３Ｄ画像のセグメント化に関する。身体セグメントの共通領域を描写する２Ｄ超音波画像を取得する。粘性材料（例えば、超音波検査用ゲル）内に３Ｄでランダムに分布し、身体セグメントの表面上にランダムな距離で離隔されたフィデューシャルオブジェクトを描写する、カメラによってキャプチャされた２Ｄカメラ画像を取得する。カメラ及び超音波画像は、同時及び／またはほぼ同時に取得され得る。世界座標系内に３Ｄ座標を有する３Ｄボクセルを計算する。３Ｄボクセルは、超音波画像をキャプチャする超音波トランスデューサの姿勢の外部基準を使用して、２Ｄ超音波画像のピクセルに３Ｄ座標を割り当てることによって計算される。超音波トランスデューサの姿勢は、連続した２Ｄカメラ画像内のフィデューシャルオブジェクトの位置における相対変化を解析することによって計算される、及び／または２つのカメラを使用することによって、及び／または慣性計測ユニットによって、または球体などのフィデューシャルオブジェクトの平均サイズを予め知ることによって、補正される。３Ｄボクセルから３Ｄ画像を再構成する。３Ｄボクセルごとに、多次元データセットを計算し、格納する。多次元データセットは（例えば、通常は）スパースデータセットであってもよい。超音波トランスデューサが移動する、及び／または再指向される場合、超音波トランスデューサの異なる姿勢の同じ３Ｄボクセルに対応する同じ３Ｄ座標に対して異なる強度値を取得する。多次元データセットは、超音波トランスデューサのそれぞれの姿勢と、超音波トランスデューサのそれぞれの姿勢について取得したそれぞれの３Ｄボクセルに対応する３Ｄ座標で取得した強度値との間でマッピングする。３Ｄボクセルは、複数の３Ｄボクセルの多次元データセットの分布に従って複数のクラスタにクラスタリングされる。３Ｄ画像は、各クラスタの３Ｄボクセルメンバのサブセットに従ってセグメント化される。セグメント化された各クラスタ内のボクセルは、類似した組織を表し得る。クラスタリングすることは、超音波トランスデューサに対するそれぞれのボクセルに対応する位置の異なる角度及び／または距離から超音波データをキャプチャすることによって取得された、グレースケール及び／またはカラー（例えば、変化のパターンにカラーを付けた）ドップラー値の分布のいくつかの類似度尺度に従ってボクセルをクラスタリングすることによって実行され得る。それぞれのクラスタでのボクセルは、超音波トランスデューサに対して異なる角度及び／または距離のキャプチャされた超音波データにおける変化のそれぞれの類似パターンを作成する、それぞれの組織型を指示する。

臓器を撮像するための超音波技術及び臓器の画像を使用する場合、余分なノイズが記録され、撮像される臓器の実際の画像と干渉する。本明細書で説明されたセグメント化アプローチは、キャプチャデータの信号対ノイズ比（ＳＮＲ）も増加させる。体の特異的な領域を撮像する場合、同じ領域の複数の画像を取得する。ボクセル及び／または３Ｄ位置に対応する、同一ピクセルでは、超音波プローブから異なる角度及び異なる距離から見る場合、ボクセルに変換されている各ピクセルは、姿勢及び距離ごとに複数のグレースケール値、すなわち、強度値に関連付けられる。病態組織を含む各ヒト組織は、異なる角度及び距離から記録された同じグレースケール値を有し得る。多様体学習など、任意選択の教師なし学習アプローチは、同じグレースケール値、及び類似したグレースケール値の変化及び／または分布を有するそれらの組織を識別する。同じ組織型は、クラスタを画定する、いくつかの類似度尺度で任意選択にセグメント化される。ボクセル間の類似度はグレースケール値及びグレースケール分布に基づいており、ボクセル間のトポロジカル関係を含む場合があるため、隣接するボクセルはマッピング空間内で合わせてマッピングされ、セグメント化される必要がある。非常に複雑な組織のより高い正確さ及び／または精度でのセグメント化を取得し得る。

本発明のいくつかの実施形態の態様は、個体の血管内の血管病態の治療に関する。粘性材料は、その少なくとも一部が３Ｄでランダムに分布し、ランダムな距離で離隔されたフィデューシャルオブジェクトを含む流体（任意選択で超音波検査用ゲル）であるが、個体の身体セグメントの表面の関心対象の血管に対応する位置に塗布される。１つ以上のカメラを含むアドオンコンポーネントを備えた超音波トランスデューサのプローブは、体の表面に沿って操作され、慣性計測ユニットを含み得る。体内の血管の超音波画像と、身体セグメントの表面を描写し、フィデューシャルオブジェクトを描写するカメラ画像とを同時にキャプチャする。実世界の距離及び位置を描写する実世界座標を表す共通３Ｄ座標系内に位置した血管及び身体セグメントの表面の３Ｄ画像の再構成が生成される。代替に、またはさらに、３Ｄ画像は、血管内の複数の位置で血流量（例えば、速度）のインジケーションを描写する。代替に、またはさらに、３Ｄ画像は複数のセグメントにセグメント化され、各セグメントは、それぞれの組織型、例えば、血管壁の異なる層、狭窄を引き起こす物質などを描写する。血管病態（例えば、狭窄）を診断することは、身体セグメントの表面に対する血管の３Ｄ画像の再構成に基づいている、及び／または血管内の血流パターンに基づいている、及び／またはセグメント化された３Ｄ画像に基づいている。血管病態は、開放手術及び／またはカテーテル手技中に治療される。３Ｄ再構成（例えば、３Ｄ画像）は、治療ツール（例えば、カテーテル）をガイドするために使用され得る。

本明細書に記載されるシステム、方法、装置及び／またはコード命令の少なくとも一部の実装は、２Ｄ画像素子に、例えば３Ｄ座標を用いて３Ｄ画像を再構成するために体内構造体を描写する２Ｄ超音波画像のピクセルなどに割り当てられる３Ｄ座標の計算、例えば、対応する３Ｄ座標を計算することによって３Ｄ画像の３Ｄボクセルに各２Ｄピクセルが変換されることなどの正確さを向上させるという技術的問題に対処する。本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、２Ｄ超音波画像の画像素子、例えばピクセルに割り当てられた３Ｄ座標の正確さを向上させることによって、２Ｄ超音波撮像データから３Ｄ画像を再構成する技術を改善する。本明細書に記載されたシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は技術的問題に対する解決策を提供する、及び／または技術に対する改善は、粘性材料（任意選択で超音波検査用ゲル）内の、ランダムに、すなわち、３Ｄで分布し、ランダムな距離で離隔されたフィデューシャルオブジェクトによって提供される。フィデューシャルオブジェクトは、２Ｄ ＵＳ画像に割り当てられる３Ｄ座標を計算するために使用され、再構成された３Ｄ画像のスケールの補正を支援し得る、２Ｄカメラ画像によって描写される粘性材料に対するサイズ及び／またはコントラストを有する。２Ｄ（例えば、単眼ＲＧＢ）カメラは、アドオンとして位置していてもよく、及び／または超音波プローブと一体化されてもよく、フィデューシャルオブジェクトを含有する超音波検査用ゲルの画像をキャプチャし、超音波プローブは、フィデューシャルオブジェクトを含有する超音波ゲルを介してエネルギーを伝達することによって２Ｄ画像をキャプチャする。フィデューシャルオブジェクトの小さいサイズ、ランダムな分布及び／またはランダムな間隔、及び／または大きい密度は、３Ｄ座標の正確な計算に必要な高いテクスチャ画像を提供する。この改善は、例えば、皮膚の表面の皮膚特徴、特徴を有する一時的なタトゥーシール、プローブの姿勢を感知するその他の高価なセンサを使用して、非常に正確な３Ｄ座標の計算に誤差が発生しやすい、及び／またはその計算が不正確である、他の既存のアプローチに勝る。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、ドップラーを用いて血管内の複数の位置での血流量を測定するという技術的問題に対処する。本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、実際の推定血流量値を用いて、血管内の複数の位置で血流を描写する血管の３Ｄ画像を生成することによって、ドップラーデータを解析して血流量を測定する技術を改善する、及び／または２Ｄ超音波撮像データから３Ｄ画像を再構成する技術を改善する。本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、技術的問題に対する解決策を提供する、及び／または技術に対する改善は、ドップラーを用いて行われた血流量の初期測定値を補正して、実血流量値を取得することによって提供される。標準アプローチを使用して、ユーザは血管の長軸に対して超音波プローブを配置し、ベクトルインジケータを変更して、経験及び／または「目分量」に基づいて実際の角度を可能な限り最良に補正する。個体ドップラー測定を１回または少数回行う。本明細書で提供される改善は、実際の血流速度の角度を手動で設定する必要なく、超音波トランスデューサと血液速度との間の角度を設定する場合、ドップラー測定した血液の値から実際の血管値を計算する（本明細書では「補正する」と呼ばれる）ことである。想定血流角度の煩雑な手動によるセットアップを必要とせずに、提案された方法は、血管内の多数の位置について血流（例えば、速度）ベクトルを計算することにより、血管に沿った血流を視覚的に描写する血流の視覚的３Ｄ補正画像の生成が可能になる。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、２Ｄ超音波画像から再構成された３Ｄ画像に描写された体構造体の視覚表現を改善するという技術的問題に対処する。本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、２Ｄ超音波画像からの３Ｄ画像の再構成の技術を改善する。本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、技術的問題に対する解決策を提供する、及び／または技術に対する改善は、２Ｄカメラ画像によってキャプチャされた撮像データを含むことによって提供される。２Ｄカメラ画像によってキャプチャされた撮像データは、３Ｄ画像内の超音波画像を表すために使用された同じ座標系内に含まれる。結果として得られた３Ｄ画像は、超音波検査用ゲル内の球体の平均サイズなどの追加の情報、または慣性計測ユニットもしくは別のカメラなどの追加のセンサからの情報を統合することによって行われることができる、スケールに補正した後、カメラによって撮像された体構造体の表面（例えば、皮膚）に対して超音波画像によって撮像された体内構造体の位置を正確に描写する。例えば、大腿動脈上での侵襲的手技を行っている間、ユーザは、３Ｄ画像を視診して、大腿が脚内のどこに位置しているかを決定し得、大腿動脈へのツールのガイダンスを改善することができる。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、２Ｄ超音波画像から再構成された３Ｄ画像をセグメント化するという技術的問題に対処する。本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、２Ｄ超音波画像から再構成された３Ｄ画像をセグメント化することによる画像処理の技術を改善する。本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、技術的問題に対する解決策を提供する、及び／または技術への改善は、超音波トランスデューサのそれぞれの姿勢と、超音波トランスデューサのそれぞれの姿勢について取得されたそれぞれの３Ｄボクセルに対応する３Ｄ座標で取得された強度値との間にマッピングする多次元データセットによって提供される。３Ｄボクセルは、複数の３Ｄボクセルの多次元データセットの分布に従って複数のクラスタにクラスタリングされる。３Ｄ画像は、各クラスタの３Ｄボクセルメンバのサブセットに従ってセグメント化される。セグメント化された各クラスタ内のボクセルは、類似した組織を表し得る。このようなセグメント化は、例えば２Ｄ超音波画像での視覚的特徴に基づいている、標準セグメント化アプローチよりも改善される。異なる超音波トランスデューサの姿勢では同じ組織が異なって見えるため、標準アプローチを使用して同じ組織を不正確にセグメント化することがある。さらに、一部の超音波トランスデューサの姿勢にはアーチファクトが存在する場合があるため、アーチファクトにより、セグメント化の能力及び／または正確さが低下する可能性がある。対照的に、本明細書で記載のように、同じ組織型は、超音波トランスデューサの複数の姿勢に対する強度値の分布のパターンに基づいてセグメント化され、そのうえ隣の分布情報を使用し得るため、同じ組織型をセグメント化する正確さが向上する。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、血管病態の診断の改善及び／または血管病態の治療の改善という医学的問題に対処する。本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、血管病態の診断の改善及び／または血管病態の治療の改善によって医学分野を改善する。本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、医学的問題に対する解決策を提供する、及び／または医学への改善は、共通３Ｄ座標系内に位置した血管及び身体セグメントの表面を描写する３Ｄ画像、及び／または血管内の複数の位置での血流のインジケーション（例えば、速度）を描写する３Ｄ画像、及び／またはそれぞれの組織型を各描写する複数のセグメントにセグメント化される３Ｄ画像の再構成によって提供される。３Ｄ画像は、狭窄の同定などの診断を行い、皮膚から狭窄へのカテーテルのガイドなどの治療を行い、及び／またはステントが適所に存在している血流パターンのチェックなどの治療のアウトカムを評価するというユーザの能力を向上させる。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、特にｘ線などの放射線を使用せずに、３Ｄ及び／または４Ｄ画像を計算するという技術的問題に対処する。本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、超音波撮像の技術分野、特に、超音波画像の技術分野を、任意選択で超音波検査用ゲル（または別の粘性媒体）中にランダムに分布するフィデューシャルオブジェクトを使用して、２Ｄ超音波画像から３Ｄ及び／または４Ｄ超音波画像を計算することによって改善する。生成された３Ｄ及び／または４Ｄ画像は、２Ｄ超音波画像のピクセルのピクセル強度値に３Ｄ座標を割り当てることによって作成されたボクセルを集約することによって、各２Ｄ超音波画像に描写されたより大きい組織領域を描写する。生成された３Ｄ及び／または４Ｄ画像は、血流量及び／または血液容量を指示してもよい。２Ｄ超音波画像は、任意選択で標準２Ｄ超音波プローブを使用して、連続して取得されることができる。２Ｄ超音波画像は、Ｂモード及び／またはカラーモード（ドップラー）画像としてキャプチャされることができる。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、超音波トランスデューサに関連するカメラによってキャプチャされたカメラ画像に描写されるための固定パターンを提供し、超音波トランスデューサによってキャプチャされた超音波画像から３Ｄ画像を生成するという技術的問題に対処する、及び／または技術的分野を改善する。変換マッピングは、カメラによってキャプチャされたカメラ画像内の固定パターンを、超音波トランスデューサによってキャプチャされた２Ｄ超音波画像に割り当てられた３Ｄ座標にマッピングする。世界単位での構造体及び運動の実際のスケールに対するスケールの補正は、既知のフィデューシャルマーカを追加することによって、または追加のセンサ、例えば、慣性計測ユニットもしくは別のカメラからの情報を統合することによって、回復されることができる。その他の従来のアプローチは、毛、しわ、あざなどの皮膚自体の特徴、トランスデューサの姿勢を測定する慣性センサなどの外部センサ、及び／または皮膚上に置かれた一時的なタトゥーを使用した。本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、フィデューシャルオブジェクトがランダムに分布している超音波ゲルに関する。フィデューシャルオブジェクトは、超音波画像上のアーチファクトを防止するために、十分に小さくてもよく、及び／または選択された音響材料から作られてもよい。フィデューシャルオブジェクトは、カメラ画像に描写されるのに十分な大きさであってもよい。超音波ゲルは、超音波画像をキャプチャするために使用され、そのうえカメラ画像に描写された固定パターンを提供するランダムに分布したフィデューシャルオブジェクトを含む。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、対象内の血管病態を治療するという技術的及び／または医学的問題に対処する。標準アプローチを用いて、血管病態は、任意選択でドップラーモードで、連続した２Ｄ超音波撮像によって、及び／またはｘ線、ＣＴ、ＭＲＩなどの血管造影を行うことによってマッピングされるが、ｘ線血管造影、ＣＴ血管造影など、この血管造影は、アレルギー反応を引き起こす可能性がある及び／または腎毒性である可能性がある造影剤を対象の脈管構造に注入する、及び／または対象が高放射線量に曝露される侵襲的手技である。本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、対象を放射線に曝露することなく及び／または造影剤を注入することなく、非侵襲的方法で迅速に取得され得る、任意選択でドップラーを含む、２Ｄ超音波画像から３Ｄ画像を生成することによって、対象内の血管病態を治療する技術分野及び／または医療分野を改善する、及び／または技術的及び／または医学的問題に対処する。３Ｄ画像は、例えばステントの挿入、バルーン拡張、アブレーション、薬物の注入、及び／またはその他のアプローチによって、血管病態を治療するために使用されるカテーテルをガイドするためにリアルタイムでキャプチャされてもよく、及び／または治療の前後の血管病態を評価するために使用されてもよい。３Ｄ画像を用いた治療後のリアルタイム評価は、さらなる即時治療が必要であるかどうか、及び／または治療が正常に行われたかどうかを決定するのに役立つ可能性がある。治療後、より長期にわたって治療が正常であるかどうか、または追加の治療が必要であるかどうかを決定するために、フォローアップ３Ｄ画像を取得することができる。治療を評価するために、これらのような複数の３Ｄ画像は、標準アプローチの侵襲性、及び／または大量の放射線及び／または造影剤のリスクが原因で、標準アプローチを使用して取得されることができない。

少なくとも一部の実装では、改善は、超音波検査用ゲルを使用して、またはフィデューシャルオブジェクトがランダムに分布している他の粘性材料を使用して、取得した画像にさらに特徴を追加することで、トランスデューサのよりロバストで正確な姿勢の推定が可能になり、その結果、３Ｄ画像がより正確で精密になり、３Ｄ画像が実世界の相対距離及び位置を描写する実世界座標で皮膚と共に血管内部を描写し、３Ｄ画像は血管内の複数の位置で血流（例えば、速度、速さ）が補正されており、及び／または３Ｄセグメント化が異なるボクセルの位置及び分布に対応する多次元データセットのクラスタに基づいおり、及び／または超音波トランスデューサの姿勢と取得された強度との間にマッピングする。それぞれの多次元データセットは、１ボクセル及び／またはボクセル群に対応する１セットの３Ｄ座標のものであってよい。

従来のアプローチは、容積プローブを使用することか、二次元プローブを常に移動させることかいずれかによって、リアルタイム三次元超音波可視化を達成することを試みるものであった。医用撮像技術は、より良い臨床及び意思決定のために臓器に関する臨床視聴覚情報を提供する。したがって、体の内部の医用撮像は、多くの場合、臨床分析及び医療行為のために最も顕著な技術であると考えられている。医用撮像には幅広い技術が含まれているが、最も一般的なツールは、Ｘ線撮影、コンピュータ断層撮影スキャン（ＣＴスキャン）、磁気共鳴画像（ＭＲＩ）、及び医用超音波検査（ＵＳ）である。

医用撮像の標準ツールの１つはＣＴスキャンである。ＣＴスキャンとも呼ばれるコンピュータ断層撮影は、特殊なＸ線装置を使用して、オブジェクトを中心とした単一回転軸の周りで撮影された一連の１Ｄ Ｘ線画像から断面２Ｄ画像を生成する。回転する「ドーナツ」形状のＸ線装置をベッドが通過するにつれて、一連の２Ｄ軸方向画像が取得される。これらの画像を個別に表示すること、または重ね合わせて３Ｄモデルを形成することができる。ＣＴスキャンの不利な点は、放射線曝露の程度が高いことと、場合によっては造影剤として腎毒性ヨードの注入が必要であることである。ＣＴスキャンとは対照的に、ＭＲＩ手技中、電離放射線への曝露は実質的にゼロである。ＭＲＩ技術は、体の磁気特性を使用して、詳細で優れた３Ｄ画像を生成する。しかしながら、ＭＲＩは、非常に高価で、特定の部屋を必要とし、金属片が埋め込まれている患者、閉所恐怖症の患者には使用されることができず、患者の運動から受ける影響が大きい。標準的な超音波システムでは、プローブは高圧の周波数波を患者の体内に送信する。これらの波は、密度の異なる臓器の内部に遭遇する場合、反射されてエコーを生じ、プローブによって測定される。返されたエコーは、電気信号に変換され、この電気信号から、アルゴリズムが２Ｄ画像を生じる。利点は、放射線及び腎臓に有害な造影剤の注入がないことである。これは最も費用効果の高い撮像技術でもある。しかし、これは、臓器全体の３Ｄ画像が欠落し、ユーザ依存性が高いため、「オペレータ依存性」の装置とみなされ、撮像品質が最も劣っている。

本明細書に記載の実施形態でＵＳ技術を使用することにより、現在ＣＴ及び血管造影の検査に使用されている放射線及び造影剤が回避されるため、放射線による患者及び介護者への害、及び造影剤による将来の患者の腎機能低下の可能性を取り除く。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、金属製部品が埋め込まれている患者に使用される標準ＵＳプローブを使用して迅速にキャプチャされ得る、及び／または血液速度（例えば、センチメートル毎秒）及び／または血液容量（例えば、立方センチメートル毎秒）などの血管の生理学的データを描写し得る３Ｄ超音波画像を、電離放射線なしで、造影剤なしで生成することによって、上記の技術的問題に対処する、及び／または上記の技術分野を改善する。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、Ｘ線照射なしで、及び／または造影剤の投与なしで、血管の３Ｄ ＵＳ画像を生成する。対照的に、血管の血管造影画像をキャプチャするための標準アプローチでは、脈管構造への造影剤の投与及び／またはｘ線画像のキャプチャが必要となる。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、従来のアプローチと比較して、より高品質の３Ｄ ＵＳ画像を生成する。本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、標準ＵＳシステムの欠点である異なるノイズ源を除去することによって、さらにより正確なセグメント化及び／またはより高解像度の３Ｄ ＵＳ画像を生成する。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、再構成された３Ｄ ＵＳ画像に関する追加の情報層を加える。３Ｄ ＵＳ画像は、撮像した血管を介して流れる血液の速度、及び撮像した血管を介して流れる血液の容量のうちの１つまたは複数を描写することができる。対照的に、ＣＴまたはＭＲＩは、主にそれらの能力から血管撮像に用いられるが、ＵＳシステムのドップラーモダリティを使用するだけで測定され得るような、重要な生理学的情報を表示することができない。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、既存の２Ｄ ＵＳ取得システムに追加されてもよく、及び／または接続されてもよく、及び／または統合されてもよい。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、経験の浅いユーザがＵＳ撮像システムを操作し、患者の高品質の検査を行うことを可能にすることにより、オペレータの依存が例えば最小限まで低下することができる。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、２Ｄ ＵＳ画像及び／または他のアプローチと比較して、組織及び／または臓器の完全な画像を描写する３Ｄ ＵＳ画像を再構成する。再構成された３Ｄ ＵＳ画像は、ＣＴ血管造影（ＣＴＡ）、ＭＲＩ血管造影（ＭＲＡ）など、他の３Ｄ撮像モダリティによって取得された他の３Ｄ画像とレジストレーションされ得る。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、超音波画像のキャプチャ中の超音波トランスデューサの姿勢（例えば、位置及び／または方位）を計算する正確さ及び／または計算効率を高める技術的問題に対処する、及び／または超音波画像のキャプチャ中の超音波トランスデューサの姿勢を計算する技術分野を改善する。超音波画像ごとに計算された超音波トランスデューサの姿勢は、本明細書に記載されるように、３Ｄ画像を再構成するために使用され得る。較正変換マッピングを用いて超音波検査用ゲルまたは他の粘性媒体中のフィデューシャルオブジェクトのカメラ画像をマッピングすることによって超音波トランスデューサの姿勢を計算することは、例えば、慣性計測ユニットのみを使用して、毛、あざなどの自然な皮膚特徴をキャプチャするカメラ、光追跡システム、機械システム、及び光ファイバ、磁気センサなどを使用して、他のアプローチと比較して、より正確で、及び／または費用効果が高くあまり複雑ではない、及び／またはより計算効率が高い（例えば、必要とする処理リソースがより少ない、及び／またはメモリリソースがより少ない）。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、超音波検査を行う際のオペレータの依存を低減させる及び／またはユーザエクスペリエンスを向上させるという技術的問題に対処する、及び／または経験の浅いユーザが使用するように設計された超音波システムの技術分野を改善する。超音波トランスデューサの異なる姿勢のカメラ画像を用いて、超音波画像に対する超音波トランスデューサの姿勢及び／または３Ｄ座標を計算し、専門家によってさらに解析されることができる関連情報を経験のないユーザが取得することを可能にする。経験のないユーザが収集したデータを使用して、３Ｄ画像を再構成する。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、ノイズ及び／またはアーチファクトが比較的減少している、臓器の改善された超音波画像を作成するという技術的問題に対処する、及び／またはノイズ及び／またはアーチファクトが比較的減少している、臓器の超音波画像を作成することによって超音波撮像の技術分野を改善する。標準アプローチを使用して、各２Ｄ超音波画像を独立してキャプチャし、ノイズ及び／またはアーチファクトを減少させることは、ユーザが最適な姿勢で画像をキャプチャする能力に依存する。対照的に、異なる姿勢からの超音波トランスデューサの複数の２Ｄ画像から計算された３Ｄボクセルデータを集約することによって、本明細書で作成された３Ｄ画像は、再構成された３Ｄ画像内のノイズ及び／またはアーチファクトを減少させる。

本明細書に記載されるシステム、方法、装置、及び／またはコード命令の少なくとも一部の実装は、血管を通る血流（例えば、速度及び／または容量）のインジケーションも描写する血管の３Ｄ解剖学的画像を作成するという技術的問題に対処する、及び／または血管を通る血流のインジケーションも描写する血管の３Ｄ解剖学的画像を作成することによって医用撮像分野を改善する。標準アプローチは、３Ｄ解剖学的画像を生成するためのＣＴ及びＭＲＩなど、１つのデータタイプ用に設計される。ＣＴ及びＭＲＩは、主にそれらの能力から血管撮像に用いられるが、ＵＳシステムのドップラーモダリティを使用することによって得られた重要な生理学的情報を表示することができない。対照的に、ドップラーＵＳは、血流を測定するように設計されるが、血管の良好な解剖学的画像を提供しない。

本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、その適用において、以下の記述で記載される、ならびに／または図面及び／もしくは実施例に示される、構造の詳細ならびに構成要素及び／または方法の配列に必ずしも限定されないことを理解されたい。本発明は、他の実施形態が可能であり、または様々な方法で実施もしくは実行することが可能である。

本発明は、システム、方法、及び／またはコンピュータプログラム製品であり得る。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令をその媒体上に有するコンピュータ可読記憶媒体を含み得る。

コンピュータ可読記憶媒体は、命令実行デバイスが使用するための命令を保持し保存することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子式ストレージデバイス、磁気ストレージデバイス、光学式ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、またはこれらの任意の好適な組み合わせとすることができるが、これらに限定されない。コンピュータ可読記憶媒体のより特異的な例の非排他的なリストは、以下のポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、及び前述の任意の好適な組み合わせを含む。本明細書で使用されるコンピュータ可読記憶媒体は、電波もしくはその他の自由に伝播する電磁波、導波管もしくはその他の伝送媒体を伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または電線を介して伝送される電気信号など、それ自体が一時的な信号であると解釈されるべきではない。

本明細書に記載されているコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／プロセッシングデバイスに、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／またはワイヤレスネットワークを介して外部のコンピュータもしくは外部ストレージデバイスに、ダウンロードすることができる。ネットワークは、銅製の伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／またはエッジサーバを含み得る。各コンピューティング／処理デバイスのネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、そのコンピュータ可読プログラム命令を転送して、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に保存する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、もしくはその種の他のものなどのオブジェクト指向プログラミング言語や、「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードもしくはオブジェクトコードのいずれかであり得る。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアローンのソフトウェアパッケージとして実行すること、部分的にユーザのコンピュータ上で実行し、部分的にリモートコンピュータ上で実行すること、または完全にリモートコンピュータもしくはサーバ上で実行することが可能である。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含む、任意の種類のネットワークを介してユーザのコンピュータに接続することができ、または外部のコンピュータに（例えば、インターネットサービスプロバイダを用いるインターネット経由で）接続することができる。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して、電子回路をパーソナライズすることにより、コンピュータ可読プログラム命令を実行することができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図及び／またはブロック図を参照して本明細書で説明される。フローチャート図及び／またはブロック図の各ブロック、及びフローチャート図及び／またはブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実施できることが理解されよう。

これらのコンピュータ可読プログラム命令は、汎用コンピュータのプロセッサ、専用コンピュータ、または機械を製造するための他のプログラム可能データ処理装置に提供され得、これにより、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行する命令は、ブロックまたは複数のブロックのフローチャート及び／またはブロック図に指定される機能／行為を実施するための手段を作成する。また、これらのコンピュータ可読プログラム命令は、コンピュータ、プログラム可能データ処理装置、及び／または他のデバイスに特定の方法で機能するように命令できるコンピュータ可読記憶媒体に記憶されてもよく、これにより命令を格納させるコンピュータ可読記憶媒体は、ブロックまたは複数のブロックのフローチャート及び／またはブロック図に指定される機能／行為の態様を実施する命令を含んだ、製造品を含む。

また、コンピュータ可読プログラム命令をコンピュータ、その他のプログラム可能なデータ処理装置、またはその他のデバイスにロードすることで、一連の操作ステップをコンピュータ、その他のプログラム可能なデータ処理装置、またはその他のデバイス上で実行し、コンピュータ、その他のプログラム可能なデータ処理装置、またはその他のデバイスで実行される命令がフローチャート及び／またはブロック図の１つ以上のブロックで指定される機能／行為を実施するような、コンピュータ実施プロセスを生成することができる。

図中のフローチャート及びブロック図は、本発明の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実施態様のアーキテクチャ、機能、及び動作を示している。この関連で、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実施するための１つ以上の実行可能な命令を含む、命令のモジュール、セグメント、または部分を表し得る。いくつかの代替実施態様では、ブロックで留意される機能は、図で留意される順序とは違う順序で起こり得る。例えば、連続して示される２つのブロックは、実際に、実質的に同時に実行され得る、または、ブロックは、時々、含有される機能に応じて、逆の順序で実行され得る。また、ブロック図及び／またはフローチャート図の各ブロック、及びブロック図及び／またはフローチャート図中のブロックの組み合わせは、指定された機能もしくは行為を実行する、または特殊用途のハードウェアとコンピュータ命令との組み合わせを実行する、特殊用途のハードウェアベースシステムによって実施することができることにも留意されたい。

ここで図１を参照すると、図１は、本発明のいくつかの実施形態による、粘性材料中にランダムに分布したフィデューシャルオブジェクトの相対変化の解析に基づいて超音波画像及びカメラ画像から３Ｄ画像を生成するためのシステム１００のコンポーネントのブロック図である。また図２を参照すると、図２は、本発明のいくつかの実施形態による、粘性材料中にランダムに分布したフィデューシャルオブジェクトの相対変化の解析に基づいて超音波画像及びカメラ画像から３Ｄ画像を生成する方法のフローチャートである。また図３を参照すると、図３は、本発明のいくつかの実施形態による、粘性材料中にランダムに分布したフィデューシャルオブジェクトの相対変化の解析に基づいて超音波画像及びカメラ画像から生成された３Ｄ画像に従って血管病態を治療する方法のフローチャートである。また図４を参照すると、図４は、本発明のいくつかの実施形態による、３Ｄ画像を再構成するために使用されるカメラ画像をキャプチャするために、フィデューシャルオブジェクトがランダムに分布している超音波ゲルを塗布するプロセスを描写する概略図を含む。また図５を参照すると、図５は、本発明のいくつかの実施形態による、カメラが超音波ゲル内にランダムに分布しているフィデューシャルオブジェクトのカメラ画像をキャプチャし、ゲルを介して超音波プローブの超音波トランスデューサが超音波画像をキャプチャすることを描写する概略図である。また図６を参照すると、図６は、本発明のいくつかの実施形態による、超音波画像に描写された組織の３Ｄ空間Ｖｘ、Ｖｘ、Ｖｚモジュール内の３Ｄ座標を計算するための超音波トランスデューサの例示的なｘ、ｙ、ｚ軸を描写する概略図である。また図７を参照すると、図７は、本発明のいくつかの実施形態による、超音波トランスデューサによって複数の方位で取得された血管の超音波画像内の実血流量を推定するためのスキームを描写する概略図である。また図８を参照すると、図８は、本発明のいくつかの実施形態による、血管病態を描写し、動脈を通る血流速度を指示する動脈の３Ｄ画像の再構成を描写する概略図である。また図９を参照すると、図９は、本発明のいくつかの実施形態による、１ボクセルに対応する１セットの３Ｄ座標の多次元の１データセットに関するデータを収集するプロセスを描写する概略図である。また図１０を参照すると、図１０は、本発明のいくつかの実施形態による、特定のボクセルの多次元スパースデータセットの表現を描写する概略図であり、データセットは色付きの球体として表現され、グレーの値が様々なトランスデューサの姿勢からスパースにサンプリングするこのボクセルの取得されたグレースケールのＢモード値であり、別の図は、球体として表現されたいくつかのボクセルのグレースケールのスパース分布値を描写し、各ボクセルはＸＹＺ格子点上に位置している。また図１１を参照すると、図１１は、本発明のいくつかの実施形態による、血管病態を有する異なる組織型にセグメント化された動脈を含む多次元データセットのクラスタのセグメント化に基づいた３Ｄ画像の再構成を描写する概略図である。また図１２を参照すると、図１２は、患者の身体の表面を含む、本発明のいくつかの実施形態による、対象の腕の表面上にパターンを描写するカメラ画像と、上腕動脈の超音波画像とに基づいて計算された上腕動脈の例示的な３Ｄ画像を描写する概略図である。また図１３を参照すると、図１３は、本発明のいくつかの実施形態による、フィデューシャルオブジェクトがランダムに分布している超音波ゲルによるカメラ画像及び超音波画像から計算された３Ｄ画像の生成の環境シーンを描写する概略図である。また図１４を参照すると、図１４は、本発明のいくつかの実施形態による、カメラによってカメラ画像をキャプチャするための超音波プローブ、及び３Ｄ画像を再構成するために使用される超音波画像をキャプチャするための超音波トランスデューサへのアドオンを描写する概略図である。また図１５を参照すると、図１５は、本発明のいくつかの実施形態による、超音波プローブに接続するサイズ及び形状に作られたコネクタ構成要素と、プローブの超音波トランスデューサの長軸に対応するコネクタ構成要素の長軸に対して所定の角度に置かれたカメラとを含む、超音波プローブへの例示的なアドオンを描写する概略図である。また図１６を参照すると、図１６は、本発明のいくつかの実施形態による、超音波プローブへのアドオンの別の例示的な実装の概略図である。また図１７を参照すると、図１７は、本発明のいくつかの実施形態による、較正デバイスの例示的な実装を描写する概略図である。また図１８を参照すると、図１８は、本発明のいくつかの実施形態による、別の較正デバイスの別の例示的な実装を描写する概略図である。また図１９を参照すると、図１９は、本発明のいくつかの実施形態による、既存のアプローチを用いる標準血管治療を描写する概略図であり、超音波画像及びカメラ画像から作成された３Ｄ画像を用いる血管治療を描写する概略図である。また図２０を参照すると、図２０は、本発明のいくつかの実施形態による、既知の３Ｄ血管モデル及び数値流体力学シミュレーションを用いて計算される、複数の方位及び／または位置で超音波トランスデューサによって取得された血管内の血流量の推定値を描写する概略図である。また図２１Ａ～Ｂを参照すると、図２１Ａ～Ｂは、本発明のいくつかの実施形態による、超音波プローブへのアドオンの別の例示的な実装の概略図である。

システム１００は、任意選択でメモリ１０６に格納されたコード命令１０６Ａを実行するコンピューティングデバイス１０４のハードウェアプロセッサ１０２によって、図２～図２１を参照して記述された方法の動作を実装することができる。

コンピューティングデバイス１０４は、例えば、クライアント端末、サーバ、仮想サーバ、放射線ワークステーション、超音波ワークステーション、ＰＡＣＳサーバ、仮想マシン、コンピューティングクラウド、モバイルデバイス、デスクトップコンピュータ、シンクライアント、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルコンピュータ、グラスコンピュータ、ウォッチコンピュータ、及びリングコンピュータとして実装され得る。コンピューティング１０４は、本明細書に記載されるように、超音波画像及びカメラ画像から計算される３Ｄ画像を提示するための超音波ワークステーション及び／または他のデバイスへのアドオンとして提供されることのある高度な可視化ワークステーションを含み得る。

コンピューティングデバイス１０４は、図２～図２１を参照して記述された１つ以上の動作を実行するローカルに格納されたソフトウェアを含んでもよく、及び／またはネットワークサーバ、ウェブサーバ、コンピューティングクラウド、仮想サーバなどの１つ以上のサーバとして機能してもよく、これは、図２～図２１を参照して記述された１つ以上の動作などのサービスを１つ以上のクライアント端末１０８、例えば、超音波プローブ、遠隔位置の超音波ワークステーション、リモートピクチャアーカイブ及び通信システム（ＰＡＣＳ）サーバ、遠隔電子医療記録（ＥＭＲ）サーバ、超音波画像及びカメラ画像をネットワーク１１０を介して受信するコンピューティングデバイスに提供し、例えば、サービスとしてのソフトウェア（ＳａａＳ）をクライアント端末１０８に提供し、クライアント端末１０８にローカルダウンロードのためのアプリケーションを、ウェブブラウザ及び／または医用撮像ビューアアプリケーションへのアドオンとして提供し、及び／またはリモートアクセスセッションを使用して機能を、ウェブブラウザなどによってクライアント端末１０８に提供する。

システム１００に基づいた異なるアーキテクチャを実装してもよい。一例では、コンピューティングデバイス１０４は、それぞれの超音波プローブの超音波トランスデューサ１１２に関連する複数の超音波ワークステーションのそれぞれに集中型サービスを提供する。各超音波トランスデューサ１１２は、それぞれカメラ１１４と関連しており、このカメラは、本明細書で説明されるように、超音波トランスデューサに対して固定した方位にある。カメラ１１４は、本明細書に説明されるように、超音波トランスデューサ１１２のプローブに接続されるアドオンコンポーネント２５４内に設置され得る。それぞれの超音波トランスデューサ１１２によってキャプチャされた超音波画像と、それぞれのカメラ１１４によってキャプチャされたカメラ画像との対は、例えば、ネットワーク１１０経由で、ＡＰＩ、ローカルアプリケーションを介してコンピューティングデバイス１０４に提供される、及び／または適切な伝送プロトコルを用いて、データリポジトリ、例えばＰＡＣＳ、ＥＭＲなどのサーバ１１８を介して、及び／またはクライアント端末１０８を介して伝送される。コンピューティングデバイス１０４は、本明細書に説明されるように、超音波画像及びカメラ画像の対を解析し、１つ以上の３Ｄ画像を計算する。３Ｄ画像は、ディスプレイ、ストレージでの提示用に、及び／またはさらなる処理用に、クライアント端末１０８及び／またはサーバ１１８に提供されてもよい。別の例では、コンピューティングデバイス１０４は、１つの超音波トランスデューサ１１２及び対応するカメラ１１４に専用のサービスを提供する。例えば、コンピューティングデバイス１０４は、超音波トランスデューサ１１２に接続された超音波ワークステーションと統合され、例えば、コード１０６Ａは超音波トランスデューサによってキャプチャされた超音波画像を表示する超音波ワークステーションにインストールされ、及び／またはコンピューティングデバイス１０４は超音波トランスデューサ１１２及びカメラ１１４に接続され、例えば、スマートフォン実行コード１０６Ａは短距離無線接続、ＵＳＢケーブル、及び／またはその他の実装を介して、超音波トランスデューサ１１２及びカメラ１１４に接続される。超音波トランスデューサ１１２によってキャプチャされた超音波画像、及びカメラ１１４によってキャプチャされたカメラ画像は、ローカルにインストールされたコード１０６Ａによって処理され、３Ｄ画像は、超音波トランスデューサ１１２に接続された超音波ワークステーションのディスプレイ上に、及び／またはスマートフォンなどのローカルに接続されたコンピューティングデバイス１０４のディスプレイ上に提示するために提供される。超音波画像及びカメラ画像がキャプチャされる場合、または超音波画像がキャプチャされた直後、コード１０６Ａは、３Ｄ画像をリアルタイムまたはほぼリアルタイムで動的に計算することによって、超音波トランスデューサ１１２に接続された超音波ワークステーションに追加の特徴セットを提供することができる。

さらに別の例では、超音波トランスデューサ１１２によってキャプチャされた超音波画像及びカメラ１１４によってキャプチャされたカメラ画像は、キャプチャされた超音波画像及び／またはカメラ画像を受信する、データリポジトリ１２２Ａ、例えば、コンピューティングデバイス１０４のメモリ及び／またはストレージデバイス、超音波トランスデューサ１１２に接続された超音波ワークステーション（例えば、１０８）上のメモリ及び／またはストレージデバイス、超音波トランスデューサ１１２及びカメラ１１４に接続されたクライアント端末１０８に接続されたされた外部ハードドライブ、ＰＡＣＳサーバ、及び／またはＥＭＲサーバ、ならびにクラウドストレージサーバに格納されてもよい。

コンピューティングデバイス１０４は、１つ以上のデータインタフェース１２０、例えば、有線接続（例えば、物理ポート）、無線接続（例えば、アンテナ）、ローカルバス、データストレージデバイスの接続用ポート、ネットワークインタフェースカード、その他の物理インタフェース実装、及び／または仮想インタフェース（例えば、ソフトウェアインタフェース、仮想プライベートネットワーク（ＶＰＮ）接続、アプリケーションプログラミングインタフェース（ＡＰＩ）、ソフトウェア開発キット（ＳＤＫ））を使用して、超音波トランスデューサ１１２及び／またはカメラ１１４及び／またはデータリポジトリ１２２Ａから超音波画像及びカメラ画像を受信することができる。

カメラ１１４は、例えば、スチルカメラ、ビデオカメラ、ＣＭＯＳ、可視光系センサ、例えば、ＣＣＤ及び／またはＣＭＯＳセンサなどの赤緑青（ＲＧＢ）センサ、紫外線カメラ、赤外線カメラ、デプスＲＧＢＤカメラなどであってもよい。

ハードウェアプロセッサ１０２は、例えば、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、及び特定用途向け集積回路（ＡＳＩＣ）として実装されてもよい。プロセッサ１０２は、１つ以上のプロセッサ（ホモジニアスまたはヘテロジニアス）を含むことができ、これらは、クラスタとして、及び／または１つ以上のマルチコア処理ユニットとして、並列処理のために配置され得る。

本明細書に記載されるシステム、装置、方法、及び／またはコード命令の少なくとも一部の実装が、ＧＰＵなどの高性能プロセッサで３Ｄ画像を生成することに比べて、計算リソースが比較的少ないプロセッサで、例えばスマートフォンのＣＰＵで３Ｄ画像を生成するように設計されることに留意する。これにより、高性能のプロセッサをインストールする必要がなく、ラップトップ及び／またはスマートフォンなど、簡単に利用できる計算デバイスで画像を処理することが可能になる。代替に、本明細書に記載されるシステム、装置、方法、及び／またはコード命令の少なくとも一部の実装は、高性能プロセッサで３Ｄ画像を生成するように設計される。

メモリ１０６は、本明細書ではプログラムストア及び／またはデータストレージデバイスとも称され、ハードウェアプロセッサ１０２、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、及び／またはストレージデバイス、例えば、不揮発性メモリ、磁気媒体、半導体メモリデバイス、ハードドライブ、リムーバブルストレージ、及び光学媒体（例えば、ＤＶＤ、ＣＤ－ＲＯＭ）によって実行するためのコード命令を格納する。例えば、メモリ１０６は、図２～図２１を参照して記述された方法の１つ以上の動作及び／または特徴を実装するコード１０６Ａを格納することができる。

コンピューティングデバイス１０４は、データを格納するためのデータストレージデバイス１２２、例えば、受信した超音波画像及びカメラ画像などのデータをドキュメント化する、及び／または生成された３Ｄ画像をドキュメント化する、１つ以上のデータリポジトリ１２２Ａを含んでもよく、これらは、追加の画像、セグメント化の計算に使用された多次元データセット、変換マッピング、及び／または本明細書に記載されるその他のデータに応答して、繰り返し更新されてもよい。データストレージデバイス１２２Ａは、例えば、メモリ、ローカルハードドライブ、リムーバブルストレージデバイス、光ディスク、ストレージデバイスとして、及び／またはネットワーク１１０を介してアクセスされるなど、リモートサーバ及び／またはコンピューティングクラウドとして実装され得る。

システム１００は、慣性計測ユニット、ＩＭＵ（図示せず）を含み得、これは、本明細書で説明されるように、超音波トランスデューサ１１２の姿勢を指示する測定値を提供するために、超音波プローブ１５４へのアドオンにインストールされ得る。

コンピューティングデバイス１０４は、ネットワーク１１０に接続するためのネットワークインタフェース１２４、例えば、ネットワークインタフェースカード、無線ネットワークに接続するための無線インタフェース、ネットワーク接続用のケーブルに接続するための物理インタフェース、ソフトウェアに実装される仮想インタフェース、ネットワーク接続の上位層を提供するネットワーク通信ソフトウェア、及び／または他の実施態様のうちの１つ以上を含んでもよい。

データインタフェース１２０及びネットワークインタフェース１２４が２つの独立したインタフェース、例えば、２つのネットワークポートとして、共通物理インタフェース上の２つの仮想インタフェース、例えば、共通ネットワークポート上の仮想ネットワークとして存在してもよく、及び／または単一インタフェース、例えば、ネットワークインタフェースに統合されてもよいことに留意する。コンピューティングデバイス１０４は、ネットワーク１１０または別の通信チャネルを使用して、例えば、ケーブルなどの直接リンク、無線及び／または間接リンクによって、例えば、サーバなどの中間コンピューティングデバイスを介して、及び／またはストレージデバイスを介して、クライアント端末１０８のうちの１つ以上と通信し得る。例えば、コンピューティングデバイス１０４が中央サーバとして機能する場合、中央サーバがＳａａＳなどの集中型３Ｄ画像生成サービスをリモート超音波ワークステーション１０８に提供し、これらリモート超音波ワークステーションは、リモートで取得した超音波画像及びカメラ画像から３Ｄ画像を生成するために、それぞれ超音波トランスデューサ１１２及びカメラ１１４に接続される、クライアント端末として機能する。サーバ１１８は、例えば、ＰＡＣＳと関連して実装され、超音波トランスデューサ１１２及びカメラ１１４によって取得された超音波画像及びカメラ画像を格納してもよく、及び／またはそのアップグレードのためにコード１０６Ａの更新されたバージョンを格納してもよい。３Ｄ画像は、サーバ１１８に格納された画像対からオフラインで再構成され得る。

コンピューティングデバイス１０４及び／または超音波トランスデューサ１１２及び／またはカメラ１１４及び／またはクライアント端末１０８及び／またはサーバ１１８は、ユーザが患者データなどのデータを入力し、本明細書に記載された較正を実行し、及び／または再構成された３Ｄ画像などのデータをみるように設計されたメカニズムを有するユーザインタフェース１２６を含む、及び／またはそれと通信する。例示的なユーザインタフェース１２６は、例えば、タッチスクリーン、ディスプレイ、３Ｄヘッドセット、キーボード、マウス、ならびにスピーカ及びマイクロフォンを使用する音声起動式ソフトウェア、ＶＲ／ＡＲヘッドセットのうちの１つ以上を含む。

任意選択で、システム１００は、超音波検査用ゲル内に配置され、カメラ１１４によってキャプチャされた画像に描写される、フィデューシャルオブジェクト１５０がランダムに分布している粘性媒体、例えば、物体（例えば、球体）が懸濁している超音波ゲルを含む。

任意選択で、システム１００は、本明細書で説明されるように、超音波プローブへのアドオン１５４を含み、このアドオンは、超音波トランスデューサ１１２に対してカメラ１１４を固定した方位に置く。アドオン１５４は、例えば、可視光、特定の色の光、紫外光、及び／または蛍光活性化のための光を発生する、照明源を含み得る。光は、固定した方位、例えば、ゲルのフィデューシャルオブジェクトの特性に応じて選択され、例えば、フィデューシャルオブジェクトの蛍光など、カメラ画像中にゲルのフィデューシャルオブジェクトを描写するように増強された可視効果をもたらす。

任意選択で、システム１００は、本明細書に記載されるように、変換マッピング１２２Ｂを較正するための較正デバイス１５２を含む。

２０２では、粘性材料は、その少なくとも一部が流体であり、その中にランダムに分布している複数のフィデューシャルオブジェクトを含むように設けられる。粘性材料は超音波検査用ゲルであり得る。超音波検査用ゲルは、体、例えば個体の皮膚の表面に塗布するように設計され、このゲルによって超音波トランスデューサは、本明細書に説明されるように、３Ｄ画像を再構成するために使用される、ドップラー、Ｂモードなどの２Ｄ超音波画像をキャプチャするように接触して配置される。

フィデューシャルオブジェクトはランダムに、つまり、材料内で、３Ｄで分布しており、ランダムな距離によって離隔される。フィデューシャルオブジェクトは、２Ｄカメラ画像によって描写されるように粘性材料に対してサイズ及び／またはコントラストを有する。カメラ画像に描写されたフィデューシャルオブジェクトは、体の内部及び／またはスキャンされた身体セグメントの外部を描写する３Ｄ超音波画像の再構成を生成するために、２Ｄ超音波画像のピクセルに割り当てられる３Ｄ座標の計算に使用される。

フィデューシャルオブジェクトは、超音波画像をキャプチャするために超音波ゲルを介して伝達される超音波エネルギーと干渉しないように、及び／またはフィデューシャルオブジェクトの存在によって生じるアーチファクトを回避するように選択され得る。例えば、フィデューシャルオブジェクトは、伝達される超音波エネルギーと干渉しないように小さいサイズに作られる、及び／または超音波エネルギーを伝達する音響材料から作られる。

フィデューシャルオブジェクトは、超音波ゲル内の特異的な位置では固定され得ないため、フィデューシャルオブジェクトは、材料の運動（例えば、振盪）に応答して、材料内で流れる、及び／またはその他の方法でその材料内で位置を変化させる。

フィデューシャルオブジェクトの例示的なサイズは、約０．５～１ミリメートル（ｍｍ）、または約０．３～１．５ｍｍ、または約０．５～１．５、または約０．３～０．７ｍｍ、またはその他の範囲を含む。

フィデューシャルオブジェクトの例示的な密度は、１ミリリットル（ｍＬ）あたり約１０～１０００個、または約５～５０個、または約２５～７５個、またはその他の範囲を含む。

フィデューシャルオブジェクトの例示的な形状には、球体、正方形、星形、雪片、立方体、及びその他の任意の形状が含まれる。

フィデューシャルオブジェクトは、カメラによってキャプチャされたカメラ画像を解析するコードによってフィデューシャルオブジェクトが容易に識別可能であるように、個体の皮膚とのコントラスト用に着色され得る。例えば、フィデューシャルオブジェクトは、蛍光材料、紫外光（ＵＶ）に反応して増強する、及び／または黄色、緑色－黒色、赤色、青色などの明るい色を有する材料で作られてもよく、または種々の色などで作られてもよい。

ここで図４に戻り参照すると、図４は、３Ｄ画像の再構成に用いる画像カメラをキャプチャするためにフィデューシャルオブジェクト４０６がランダムに分布している、超音波ゲル４０４の概略図を含む。超音波ゲル４０４は、例えば、容器から、プラスチックボトルを絞ることなどによって塗布され得る。超音波ゲル４０４は、標準方法で、撮像される組織より上の対象の皮膚及びその周囲の上に広げて塗布され得る。任意選択で、超音波ゲル４０４を身体のより広い領域の上に広げて、個々の２Ｄ超音波画像によって描写される面積よりも大きい組織領域、例えば肝臓、腎臓などの臓器及び／または血管樹及び／またはツリーの３Ｄ画像再構成を生成する。任意選択で、超音波ゲル４０４は、カメラ画像にキャプチャされるのに十分な大きさの領域の上に広がる。超音波トランスデューサは、超音波ゲル４０４の上に移動して、超音波画像をキャプチャし、カメラは、本明細書で説明されるように、例えば超音波トランスデューサに接続されたアドオン内で、ゲル４０４内でランダムに分布しているフィデューシャルオブジェクト４０６のカメラ画像をキャプチャし、これらカメラ画像を使用して３Ｄ画像を再構成する。

ランダムに分布しているフィデューシャルオブジェクト４０６がカメラ画像全体に複数の特徴を提供することで、２Ｄピクセルに割り当てられる３Ｄ座標が計算され、３Ｄボクセルが取得されて３Ｄ画像が再構成される。カメラ画像上に複数の特徴が広がると、３Ｄボクセルの位置の正確さが向上し得る。

フィデューシャルオブジェクト４０６は、超音波ゲル４０６が対象の皮膚の表面上に広がる場合、カメラによってキャプチャされるカメラ画像に描写されるように選択されたサイズ及び／または色の特徴を有する。フィデューシャルオブジェクト４０６は、超音波ゲル４０４を介して超音波トランスデューサによってキャプチャされた超音波画像に描写されないように、選択された小さいサイズを有してもよく、及び／または選択された音響材料から作られる。フィデューシャルオブジェクト４０６のサイズは、例えば、約０．５～３ミリメートル（ｍｍ）、または約０．５～１ｍｍ、または約１～２ｍｍ、またはその他の範囲であり得る。任意選択で、ゲル４０４は透明であるが、色特徴は、非透明であり、任意選択で１つ以上の異なる色、例えば、黄色、赤色、緑色、黒色、及び青色のものである。任意選択で、フィデューシャルオブジェクト４０６は、紫外光に反応して増強される色特徴を与える材料で作られる、及び／または蛍光材料で作られる。フィデューシャルオブジェクト４０６は、異なる形状、例えば球形状、四角形、三角形、ひし形、またはその他の形状であってもよい。超音波ゲル４０４内のフィデューシャルオブジェクト４０６の密度は、１ミリリットル（ｍＬ）あたり約１０～１０００個、または約５～５０個、または約２５～７５個、または約１０～１００個、または約１００～５００個、または約３００～７００個、またはその他の範囲であり得る。

ここで図２に戻り参照すると、２０４では、超音波トランスデューサによってキャプチャされた体内組織を描写する超音波画像を取得する。超音波画像は、身体セグメントの共通領域、例えば、血管、例えば、大腿動脈、頸動脈、大動脈、またはその他の体内組織、例えば、腎臓、肝臓、胆嚢、脾臓、甲状腺を描写する。

超音波画像は、ドップラー２Ｄモード画像及び／またはＢモード画像またはその他の２Ｄ／３Ｄモードを含み得る。

体内組織（例えば、血管）は流体を移動させることを含み得る。血管の場合、超音波画像は、本明細書ではドップラー画像とも呼ばれる、ドップラーデータをさらに含むことができる。超音波画像は、血管の領域を含み、その中で流動している血液を描写する。ドップラー超音波画像は、血管領域内の血流量の測定をさらに含む。血流量測定は、最大速度など瞬時血流量測定及び／または１心周期以上にわたる速度などの血流量の変化パターンであり得る。

任意選択で、例えば血管が撮像されている場合、ドップラー超音波画像及びＢモード超音波画像が交互に撮像される。

２０６では、カメラでキャプチャされた２Ｄカメラ画像を取得する。カメラ画像は、標準ビデオカメラ及び／またはスチルカメラによってキャプチャされた任意選択で可視光画像である。カメラ画像は特徴パターンを描写し、任意選択で超音波ゲルまたは他の粘性材料内のフィデューシャルオブジェクトを描写する。他の特徴パターン、例えば、皮膚上に置かれた一時的なタトゥー及び／または皮膚自体の特徴、例えば毛、あざ、しわなどを用いてもよいことに留意する。

カメラは、超音波トランスデューサに対して既知の固定姿勢に配置される。任意選択で、カメラは超音波トランスデューサへのアドオンとして設置され、固定姿勢に置かれるように設計される。

任意選択で、カメラ画像及び超音波画像を同時またはほぼ同時にキャプチャする。

任意選択で、カメラ画像及び超音波画像は、対として、すなわち、同期及び／またはマッチングするビデオフレームレートとしてキャプチャされる。代替に、カメラ画像及び超音波画像は、例えば、異なるビデオフレームレートで独立してキャプチャされる。

ここで図５に戻り参照すると、図５は、超音波ゲル５１２またはその他の粘性材料内にランダムに分布しているフィデューシャルオブジェクト５０６の、視野５０４で描写されるカメラ画像をカメラ５０２がキャプチャし、超音波プローブ５１０の超音波トランスデューサ５０８がゲルを介して超音波画像をキャプチャすることを描写する概略図である。超音波ゲル内にランダムに分布したフィデューシャルオブジェクト５０６を描写するカメラ画像と、超音波画像とを使用して、本明細書で説明されるように、３Ｄボクセルを計算して３Ｄ画像を再構成する。カメラ５０２は、超音波プローブ５１０に接続されたアドオン５１４内に位置し得、本明細書に説明されるように、アドオン５１２は、超音波トランスデューサ５０８に対する、例えば、超音波画像をキャプチャするためのビューに対する、カメラ５０２の角度、例えば、カメラ画像をキャプチャするためのビューの角度を固定するように置かれる。

ここで図２に戻り参照すると、２０８では、世界座標系内の３Ｄ座標を有する３Ｄボクセルを計算する。世界座標系は、撮像される個体の身体セグメントを表し、実世界の距離及び／または実世界の位置を規定し、つまり、ディストーションがない。世界座標系は３Ｄユークリッド空間であり得、この３Ｄユークリッド空間内に身体セグメントは、位置しており、実世界の距離（例えば、１：１またはその他のリニアスケール）にアイソトープでスケーリングされる、及び／または非変形空間内にある。３Ｄボクセルは、超音波画像をキャプチャした超音波トランスデューサの姿勢の外部基準を使用して、２Ｄ超音波画像のピクセル及び／またはドップラー画像に３Ｄ座標を割り当てることによって計算される。超音波トランスデューサの姿勢は、連続した２Ｄカメラ画像内のフィデューシャルオブジェクトの位置における相対変化を解析することによって計算される。

世界座標系に対するカメラ座標系内のカメラの姿勢を計算することにより、超音波画像及び／またはドップラー画像のピクセルについて３Ｄ座標を計算することができる。世界単位での構造体及び運動の実際のスケールは、超音波検査用ゲル内に埋め込まれた球体の直径のような２Ｄカメラ画像内の物体のサイズなどの追加の情報によって、または慣性計測ユニットのような別のセンサからの情報、もしくは別のカメラによる情報を追加することによって、計算されてもよい。カメラの姿勢は、連続した２Ｄカメラ画像内のフィデューシャルオブジェクトの位置における相対変化を解析することによって計算されてもよく、例えば、オプティカルフロー、ＳｆＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ：運動からの構造復元）、ビジュアルオドメトリを使用して、またはＶｉｓｕａｌ ＳＬＡＭ（ｖｉｓｕａｌ ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ：視覚による自己位置推定とマッピングの同時実行）などによって計算されてもよい。較正マッピング、例えば、変換行列は、超音波トランスデューサの超音波座標系で表された超音波画像及び／またはドップラー画像のピクセルをカメラ座標系にマッピングするために使用され得る。マッピングは、カメラの姿勢と超音波トランスデューサの姿勢との間の予め較正された関係に基づいていてもよい。カメラ座標系で表された超音波画像及び／またはドップラー画像のピクセルを世界座標系内の３Ｄ座標にマッピングする。ボクセルは、世界座標系内の対応する３Ｄ座標に、超音波画像及び／またはドップラー画像のピクセルのピクセル強度値を割り当てることによって作成される。

ここで図６を参照すると、図６は、超音波画像に描写された組織６０４の３Ｄ空間Ｖｘ、Ｖｘ、Ｖｚモジュール６０８内の３Ｄ座標、すなわち、関心対象の容積を計算するための超音波トランスデューサ６０２の例示的なｘ、ｙ、ｚ軸６０６を描写する概略図である。軸６０６によって規定される超音波トランスデューサ６０２の方位、及び／または３Ｄ空間６０８内の組織６０４に対する３Ｄボクセルの計算は、本明細書に記載されるように、超音波トランスデューサ６０２の超音波プローブ６１２に接続された、例えば、アドオンコンポーネント６１４内に収容されたカメラ６１０によってキャプチャされたカメラ画像に基づいて計算される。

ここで図２に戻り参照すると、単一３Ｄ画像内に含まれ得る３Ｄ画像、及び／または異なる３Ｄ画像として提示され得る３Ｄ画像、及び／または同じ３Ｄ画像の異なるオーバーレイとして提示され得る３Ｄ画像という３タイプを計算することができる。

特徴２１０～２１４は、血管内の血流を描写する３Ｄ画像を計算するためのものである。

特徴２１６～２２２は、３Ｄ画像をセグメント化するためのものである。

特徴２２４～２２６は、体表面を描写する３Ｄ画像を計算するためのものである。

２１０では、血管内の複数の位置について（例えば、初期）推定血流量を計算する、及び／または取得する。任意選択で、例えば血管の長さ及び／または直径に沿って、血管全体にわたる（例えば、初期）推定血流量を計算する、及び／または取得する。

血管内の異なる位置について（例えば、初期）推定血流量値の多くまたは全ては、超音波トランスデューサの長軸（例えば、超音波プローブと共に）と血管内の血流方向を示すベクトルとの間の非９０度の角度で測定される。非９０度の角度で行われる測定は、ドップラーによる血流量の測定が非９０度で行われるように設計されているため、誤った値になる。

２１２では、非９０度の角度で測定された血流量の値は、動脈内に沿った実際の血流速度ベクトルを考慮して補正される。

測定された血流量を補正して実血流量を取得するために、様々なアプローチを用いることがある。以下に説明される第一、第二、及び第三アプローチは、例えばメートル／秒など、流速を計算するためのものである。以下に説明される第四アプローチは、容積流量（例えば、ｍｌ／秒）のものである。以下に説明される第五アプローチは、全血流速度ベクトル場の推定である：

第一アプローチでは、血管の楕円形状境界を識別する。楕円形状は、例えば、楕円形状境界でラベル付けされた超音波画像の訓練データセットで訓練されたニューラルネットワークによって、楕円形状境界のテンプレートにマッチングさせることによって、フィルタを画像に適用してエッジを対比させ、エッジ形状プロセスを使用して境界を見いだし、境界の形状を計算することによって、及び／またはその他の画像処理アプローチによって識別されることができる。楕円形状から円形への変換を計算する。この変換を血流量の測定に適用して、推定実血流量を取得する。

第二アプローチでは、複数のドップラー超音波画像のそれぞれの各取得面から取得された複数の３Ｄ点の集約に基づいて、血管の長手方向軸の推定値を計算する。それぞれの現在のドップラー画像ごとに、局所主成分分析（ＰＣＡ）を求めることにより、血管の長手方向軸に現在の接線を計算する。測定血流量は、測定血流量と、接線に沿っている各取得面の法線との間の角度による投影に基づいて補正される。

第三アプローチでは、それぞれの３Ｄボクセルごとに、複数の初期推定血流量、及びそれぞれの初期推定血流量の計算に使用されたそれぞれのドップラーＵＳ画像をキャプチャする超音波トランスデューサの平面に対応する法線を記録する。記録された血流速度ベクトルと想定流速ベクトルとの間の投影誤差を最小にすることによって、各ボクセルにおける実血流量を推定する。

第四アプローチでは、複数の心周期に特異的な位置で矢状ビューでの血管内の初期容積流量を取得する。ドップラーなど、標準アプローチを用いて初期容積流量を計算してもよいが、９０度以外の角度のものを取得する。初期平均容積流量は、心周期全体の初期容積流量を平均することによって計算される。－１～１の範囲内の実数を示すガンマ値を計算して初期平均容積流量を補正し、実際の容積流量を取得する。推定実血流量は、例えば上記の第一、第二、及び／または第三アプローチに基づいて、初期測定血流量を補正することによって取得されることができる。コサイン角は、ガンマ値の逆数から計算されることができる。初期平均容積流量を補正し、推定血流量と実血流量との間のコサイン角及びドット積を用いて実際の容積流量を取得する。

第五アプローチでは、これも図２０に関して描写されているが、Ｂモードのセグメント化に基づいて実際の血管の３Ｄモデルを計算し、動脈内の各仮想点に全血流速度ベクトル場を生成するための境界条件として複数のドップラー超音波画像のそれぞれの各取得面から取得された複数の３Ｄ点の集約と共に数値流体力学モデルを用いる。

ここで図７に戻り参照すると、超音波トランスデューサ７０６によって複数の方位７０８で取得された血管７０４の超音波画像内の流動、例えば、速度、速さ、及び血液７０２の補正を描写する概略図を提示する。グラフ７１０は、本明細書に記載されるように補正される、トランスデューサ７０６の異なる方位７０８で取得された血流量７０４の測定を描写する。

ここで図２に戻り参照すると、２１４では、複数の３Ｄボクセルのそれぞれが推定された、すなわち、補正された血流量を含む３Ｄボクセルを集約することによって、世界座標系で３Ｄ画像を再構成する。３Ｄ画像は、血管の解剖学的画像を描写し、血管内の複数の位置での血流量を描写する。

任意選択で、Ｂモード超音波画像から計算された３Ｄボクセルから３Ｄ画像を再構成し、各３Ｄボクセルに関連する推定血流量のインジケーションをドップラーデータから計算する。

任意選択で、再構成された３Ｄ画像の３Ｄボクセルを、対応する血流量に応じて視覚的にコード化する、例えばカラーコード化する。例えば、遅い流動を示す範囲内の血流量は青色などの一色で色付けされ、速い流動を示す別の範囲内の血流量は赤色などの別の色で色付けされ、以下同様である。あるいは、またはさらに、血流量を示すドップラー超音波画像のピクセルを視覚的に（例えば、色で）コード化する。カラーピクセルをセグメント化してもよい。３Ｄ画像は、セグメント化されたカラーピクセルに対応する３Ｄボクセルから再構成され得る。

任意選択で、３Ｄボクセルのそれぞれの推定血流量は、３Ｄボクセルに対応する血管内の領域を描写するドップラー超音波画像がキャプチャされる撮像時間間隔にわたる最大値として選択される。あるいは、またはさらに、撮像時間間隔にわたって血流量におけるばらつきを描写する、３Ｄボクセルを計算するために使用される複数のドップラー超音波画像をキャプチャし、それをリンクグラフとしてプロットすることができ、再構成された３Ｄ画像は、３Ｄボクセルについて、撮像時間間隔にわたる血流量におけるばらつきのそれぞれのインジケーションを含む。再構成された３Ｄ画像は、キャプチャされた相関に応じて、３Ｄボクセルに対応する血流量値を撮影時間間隔にわたって変動させることによって、撮影時間間隔にわたるビデオとして提示されてもよい。

以下は、血管の複数の位置での血流速度を描写する３Ｄ画像を生成するための例示的な擬似コードである：
３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｔｈｅ ｐａｔｉｅｎｔ’ｓ ｂｏｄｙ：
ＵＳＩｎｉｔ＋ｔｒａｎｓｕｃｅｒＣａｍＩｎｉｔ
Ｒｅｃｏｒｄ ｓｙｎｃｈｒｏｎｉｚｅｄ Ｖｉｄｅｏｓ
Ｆｏｒ ｅｖｅｒｙ ｆｒａｍｅ ｉｎ ｔｒａｎｓｄｕｃｅｒ ｃａｍｅｒａ
ｉｆ ｆｒａｍｅ ｉｓ ｇｏｏｄ ｔｈｅｎ ａｄｄ ｔｏ ｄａｔａｂａｓｅ
Ｆｏｒ ｅｖｅｒｙ ｆｒａｍｅ ｉｎ ｄａｔａｂａｓｅ
ｆｅａｔｕｒｅＥｘｔｒａｃｔｉｏｎ
ＩｍａｇｅＭａｔｃｈｉｎｇ
ＦｅａｔｕｒｅＭａｔｃｈｉｎｇ
ＳｔｒｕｃｔｕｒｅＦｒｏｍＭｏｔｉｏｎ
ＰｒｅｐａｒｅＤｅｎｓｅＳｃｅｎｃｅ
ＣｏｍｐｕｔｅＤｅｐｔｈＭａｐＦｉｌｔｅｒ
Ｍｅｓｈｉｎｇ
ＭｅｓｈｉｎｇＦｉｌｔｅｒｉｎｇ
Ｔｅｘｔｕｒｉｎｇ
ｅｎｄ
Ｆｒｏｍ ＳｔｒｕｃｔｕｒｅＦｒｏｍＭｏｔｉｏｎ ｅｘｔｒａｃｔ Ｃａｍｅｒａ Ｐｏｓｅｓ
Ｆｏｒ ｅａｃｈ ｃａｍｅｒａＰｏｓｅ ｉｎ Ｐｏｓｅｓ
ｅｘｔｒａｃｔＳｅｇｍｅｎｔｅｄＰｉｘｅｌｓ ｂａｓｅｄ ｏｎ ｃｏｌｏｒ ａｎｄ ｍａｘｉｍｕｍ ｖａｌｕｅ
ｃｏｍｐｕｔｅＨｏｍｏｇｅｎｏｕｓＴｒａｎｓｆｏｒｍ ｆｒｏｍ ｔｈｅ ｔｒａｎｓｄｕｃｅｒ ｃｏｒｒｄｉｎａｔｅ ｓｙｓｔｅｍ ｔｏ ｗｏｒｌｄ ｓｙｓｔｅｍ
ｅｎｄ
Ｆｏｒ ｅａｃｈ ｃｏｌｏｒｅｄ ｐｏｉｎｔ ｉｎ ＰｏｉｎｔＣｌｏｕｄ
ＣｏｒｒｅｃｔＶｅｌｏｃｉｔｙＭｅａｓｕｒｅｍｅｎｔ
Ｅｎｄ
Ｄｉｓｐｌａｙ ４Ｄ ｄａｔａ

ここで図８に戻り参照すると、血管病態８０６（例えば、狭窄）を描写する動脈８０４の３Ｄ画像８０２の再構成を描写し、動脈８０４を通る血流８１２及び８１４の速度を示す概略図が提供される。本明細書に記載される超音波トランスデューサ及びカメラを含む超音波プローブ８０８は、例えば異なる方位にスキャン運動を用いて、病変８０６を含む、動脈８０４より上の脚の表面にわたり操作される。異なる方位の異なる位置で測定された血流は、本明細書に記載されるように補正される。複数の標準超音波画像８１０は、任意選択のドップラーデータを含み、パターン、例えば、脚の表面全体に塗布された超音波ゲル内のフィデューシャルオブジェクトのカメラ画像と共にキャプチャされる。超音波画像、カメラ画像、及び任意選択のドップラーデータから、動脈８０４の３Ｄ再構成８０２を計算する。３Ｄ再構成８０２は、異常に速い血流速度及び／または異常なインジケーション、例えば、狭窄、石灰化、高い血液速度、ステントによって識別された、血管病態８０６に対応する部分８１２を描写し、正常な血液速度及び／または正常な形状によって識別された、動脈の正常な部分である、他の部分８１４を描写する。

ここで図２に戻り参照すると、３Ｄボクセルから３Ｄ画像を再構成する。

２１８では、３Ｄ画像の３Ｄボクセルごとに、多次元データセットを計算する。各多次元データセットは、３Ｄボクセルに対応する体内の３Ｄ座標を描写するそれぞれの超音波画像のキャプチャ中の超音波トランスデューサのそれぞれの姿勢と、様々なトランスデューサの姿勢から取得されたそれぞれの超音波画像ごとに３Ｄ座標で取得された強度値との間のマッピングを含む。超音波トランスデューサの姿勢は、例えば６自由度を示す６つの値によって、表されることができる。例えば、座標（ｘ，ｙ，ｚ）の３Ｄボクセルの場合：（ａ１，ｂ１，ｃ１，ｄ１，ｅ１，ｆ１）→強度Ｑ１、（ａ２，ｂ２，ｃ２，ｄ２，ｅ２，ｆ２）→強度Ｑ２、及び（ａ３，ｂ３，ｃ３，ｄ３，ｅ３，ｆ３）→強度Ｑ３。

ここで図９に戻り参照すると、概略図は、特定のボクセルに対応する特定の３Ｄ座標セットの特定の多次元データセットに関するデータを収集するプロセスを描写する。複数の超音波撮像面９０４として視覚的に描写される、超音波トランスデューサの姿勢を変動させることによって同じ組織領域９０２に対して異なるピクセル強度値を収集することが提供される。

ここで図１０に戻り参照すると、取得したグレースケール値の分布が球体を表している特定のボクセルの多次元（任意選択でスパース）データセット１００２の表現を描写する概略図が提供される。球体内の各位置は、それぞれ多次元（任意選択でスパース）データセットに対応するそれぞれの３Ｄボクセルのキャプチャ中の超音波トランスデューサの３Ｄ姿勢及び／または方位を示す。球体の各位置における各強度値は、各位置に対応する超音波トランスデューサの３Ｄ姿勢及び／または方位で２Ｄピクセルから計算された３Ｄボクセルの３Ｄ座標に対応する２Ｄ超音波画像の２Ｄピクセルのピクセル強度値を示す、及び／または値の間を補完することによる推定は、補間によって、またはＫ近傍から追加の情報を引き出す投票スキームによって行われることができる。例えば、視覚的に暗く描写されるなど、位置１００４での強度は、位置１００６での強度とは異なり、同じ組織であるが、異なるグレースケールの「フィンガープリント」の識別を有する、特定の３Ｄボクセルのキャプチャ中の３Ｄ姿勢及び／または方位の分布における差異を指示する。概略図１００８は、実世界座標系内で複数の多次元スパースデータセットを表し、わかりやすくするために１つは１０１０とマーク付けされており、各多次元データセットは、３Ｄ画像の作成に使用される１ボクセルに対応する。多次元データセットは、本明細書に記載されるように、クラスタリングされてもよく、セグメント化されてもよい。

ここで図２に戻り参照すると、２２０では、３Ｄボクセルは、３Ｄボクセルの多次元スパースデータセットの分布に応じてクラスタにクラスタリングされる。

クラスタリングは、データをより良くクラスタリングするための部分空間を見つけるために、多様体学習に基づいて実行され得る。

クラスタリングすることは、超音波トランスデューサに対するそれぞれのボクセルに対応する位置の異なる角度及び／または距離に関してキャプチャされた超音波データにおける変化の類似したパターンに従ってボクセルをクラスタリングすることによって実行され得る。それぞれのクラスタでのボクセルは、超音波トランスデューサに対して異なる角度及び／または距離のキャプチャされた超音波データにおける変化のそれぞれの類似パターンを作成する、それぞれの組織型を指示する。

クラスタリングは、例えば、各クラスタ内のボクセル間の統計的距離を最小にし、クラスタ間の統計的距離を最大にすることによって、教師なし学習アプローチに基づいていることができる。統計的距離は、例えば、超音波トランスデューサに対するそれぞれのボクセルに対応する位置の異なる角度及び／または距離に関してキャプチャされた超音波データにおける変化のパターンを指示する、エンコーディングに基づいていてもよい。

ここで図１１を参照すると、血管病態１１０６（例えば、狭窄、石灰化、ステント）を有する異なる組織型にセグメント化された動脈１１０４を含む、多次元データセットのクラスタのセグメント化に基づいた３Ｄ画像１１０２の再構成を描写する概略図が提供される。超音波プローブ１１０８は、本明細書で説明されるように、超音波トランスデューサ及びカメラを含み、病変１１０６より上の皮膚に複数の異なる方位で繰り返し操作される。本明細書に記載されるように、パターン（例えば、脚の表面にわたり塗布された超音波ゲル内のフィデューシャルオブジェクト）の標準超音波画像、任意選択のドップラーデータ、及びカメラ画像を含む、病変１１０６を含む領域に対して収集されたデータを集約して、再構成された画像１１０２及び／またはより高解像度の超音波画像１１１０のより高解像度の３Ｄ再構成１１１２を生成する。超音波トランスデューサの姿勢及び対応するピクセル強度は、各多次元データセットに含まれ、各多次元データセットは、３Ｄ画像を生成するために使用される単一ボクセルに対応する３Ｄ座標ごとのものである。より高解像度の超音波画像１１１０は、類似した多次元スパースデータセットに従って、すなわち、超音波トランスデューサの異なる方位の間の超音波画像のピクセル強度値で類似した分布に従って、ボクセルをクラスタリングすることによって、セグメント化され得る。各セグメント化領域は、それぞれの組織型に対応してもよい。３Ｄ再構成１１０２は、より高解像度の部分１１１２を描写し、血管病態１１０６を含むようにセグメント化され、異常な血液速度及び／または異常な形状（例えば、狭窄、石灰化、高い血液速度、ステント）を描写することができる。

ここで図２に戻り参照すると、２２２では、３Ｄ画像は、各クラスタの３Ｄボクセルメンバのサブセットに従ってセグメント化される。各セグメント化は、それぞれのクラスタのメンバである３Ｄボクセルを含む。各セグメント化は特定の組織型を表すことがある。

結果として得られるクラスタはセグメント化領域である。多様体及びクラスタリングは、各ボクセルの空間及び／または時間分布を考慮して、ボクセルのクラスタ、任意選択で教師なしの方法では、各群をそれぞれの組織型として割り当てる群を見つけるように設計され得る。このプロセスは、超音波マシンの解像度を向上させ得、及び／または関連する問題の幾何学的形状及び／または特徴を抽出し得る。

以下はセグメント化を計算するための例示的な擬似コードである：
Ｆｏｒ ｅａｃｈ ｐｉｘｅｌ ｉｎ ｔｈｅ ｉｍａｇｅ
Ｃｏｍｐｕｔｅ Ｐｉｘｅｌ Ｌｏｃａｔｉｏｎ Ｉｎ Ｐｏｉｎｔ Ｃｌｏｕｄ
Ｓｔｏｒｅ Ｇｒａｙ Ｓｃａｌｅ Ｖａｌｕｅ ｆｏｒ ｅａｃｈ ｖｏｘｅｌ ａｎｄ ｃｏｌｏｒｅｄ Ｄｏｐｐｌｅｒ ｗｉｔｈ ｔｈｅ ｔｒａｎｓｄｕｃｅｒ ｏｒｉｅｎｔａｔｉｏｎ ａｎｄ ｐｏｓｉｔｉｏｎ ａｓ ａ ３Ｄ ｖｅｃｔｏｒ
ｅｎｄ
Ｐｅｒｆｏｒｍ Ｖｏｘｅｌｉｚａｔｉｏｎ

多様体学習に基づいたボクセルの群化及び／または類似したグレースケール値を有するボクセルが他の群のものよりも同じ群に属する他のクラスタリングでは、これは、メンバ間の距離に基づいた群割り当てを計算することを含み、この距離は、何らかの計算された多様体または潜在表現、密度閾値、または所期のクラスタのアプリオリな数のセットアップに基づいて計算されてもよく、及び／または多目的最適化問題として定式化されてもよい。クラスタリングについては、接続に基づいたクラスタリング、セントロイドに基づいたクラスタリング、分布に基づいたクラスタリング、密度に基づいたクラスタリング、グリッドに基づいたクラスタリングなどの様々なアプローチが採用されてもよい。

２２４では、身体セグメントの表面（任意選択で皮膚）を描写する２Ｄカメラ画像のピクセルの３Ｄ座標を計算する。２Ｄカメラ画像全体が表面を描写する場合がある。カメラ画像の一部が表面を描写し、一部が表面を描写しない、例えば、体部分の周囲の背景を描写する場合、表面はセグメント化され得る。３Ｄ座標は、連続した２Ｄカメラ画像内のフィデューシャルオブジェクトの位置における相対変化の解析、任意選択で超音波画像の３Ｄ座標を計算するために実行された解析に基づいて計算される。

２Ｄカメラ画像のピクセル及び２Ｄ超音波画像のピクセルに割り当てられる３Ｄ座標は、共通座標系内のものである。ボクセルは、３Ｄ座標を２Ｄカメラ画像及び２Ｄ超音波画像のピクセルに割り当てることによって、３Ｄ座標系内に画定される。

任意選択で、２Ｄカメラ画像は、３Ｄ座標の計算に使用された、その中に描写された身体セグメントの表面上に位置しているフィデューシャルオブジェクトを除去するように処理される。フィデューシャルオブジェクトの除去は、３Ｄ座標の計算後、３Ｄ座標をピクセルに割り当てボクセルを計算する前及び／または後に行われることができる。

２２６では、カメラ画像のピクセルから作成されたボクセル及び超音波画像のピクセルから作成されたボクセルを共通座標系で集約することによって３Ｄ画像を再構成する。３Ｄ画像は、身体セグメントの表面、及び表面に対して配置された身体セグメント内の組織を描写する。

共通座標系は、実世界の距離及び位置を描写する実世界座標系であってもよい。３Ｄ画像は、身体セグメントの表面、及び身体セグメント内の組織を、実世界座標、距離、及び相対位置を使用して描写する。例えば、ユーザは、再構成された３Ｄ画像を使用して、皮膚領域より下の血管の深さを測定し得る。別の例では、ユーザは、３Ｄ画像を使用してカテーテルを深部組織内にガイドする場合、再構成された３Ｄ画像を使用して、再構成された３Ｄ画像の実世界座標系で示されるように標的組織に到達するための方向及び／または距離にカテーテルを移動させることによって、ナビゲートすることができる。

２２８では、体表面を描写する血流を伴う、及び／またはセグメント化された３Ｄ再構成画像のうちの１つ以上は、提供され、例えば、ディスプレイ上に提示され、ストレージデバイスに格納され、及び／または別のリモートデバイスに転送される。

血流、体表面を表し、セグメント化される単一３Ｄ画像を提示してもよい。代わりに、または加えて、ベースライン３Ｄ画像を提示してもよく、ユーザは、血流、表面、及びセグメント化のうちの１つまたは複数を選択して、追加データとして、例えば、オーバーレイとして提示してもよく、及び／またはベースライン３Ｄ画像内に統合してもよい。あるいは、またはさらに、複数の画像は、例えばディスプレイ上に並べられて、それぞれが異なるデータを描写するように提示されてもよい。複数の画像は、血流の描写、表面の描写、及びセグメント化の描写から選択されることができる。

ここで図１２に戻り参照すると、図１２は、対象の腕の表面上にパターンを描写するカメラ画像と、上腕動脈の超音波画像とに基づいて計算された上腕動脈の例示的な３Ｄ画像１２０２、及び患者の体の表面を描写する例示的な３Ｄ画像１２０４を描写する概略図である。

ここで図１３に戻り参照すると、フィデューシャルオブジェクト１３０４がランダムに分布しており、３Ｄ画像１３０２が生成されている対象の脚１３０８の動脈１３０６の上の皮膚上に位置している超音波ゲルによる、カメラ画像及び超音波画像から計算された３Ｄ画像１３０２の生成の環境シーンを描写する概略図が提供される。超音波プローブ１３１０は、動脈１３０６の超音波画像及び／またはドップラー画像１３１８を、例えばＢモード、ドップラーモードでキャプチャする超音波トランスデューサ１３１２と、任意選択で本明細書に記載されるアドオンコンポーネント１３１６を介して、プローブ１３１０に接続されたカメラ１３１４であって、ゲル内でランダムに分布するフィデューシャルオブジェクト１３０４のカメラ画像をキャプチャする、カメラとを含む。超音波画像及び／またはドップラー画像１３１８は、本明細書に記載されるように、標準超音波アプローチを用いて操作される、及び／または熟練していないユーザによって操作される、標準超音波ワークステーション１３２０に接続された標準プローブ１３１０によってキャプチャされ得る。本明細書に記載されるように、脚１３０８の表面の表面画像１３２２は、カメラ画像から抽出され得る。本明細書に記載されるように、カメラ画像を用いて超音波画像について計算された３Ｄ座標を含むデータ１３２４、３Ｄ座標に割り当てられた任意選択のドップラーデータ、及び任意選択の表面画像１３２２から、本明細書に記載されるように３Ｄ画像１３０２を計算する。３Ｄ画像１３０２は、動脈１３０６の複数の位置内の血流の任意選択のインジケーションと共に、動脈の伸展、動脈全体など、任意の単一２Ｄ動脈より大きい動脈１３０６の一部を描写する。３Ｄ画像１３０２は、脚１３０８内の皮膚表面より下の動脈１３０６の位置の可視化を可能にするように、動脈１３０６に対する表面画像１３２２の３Ｄ再構成を含むことができる。

ここで図２に戻り参照すると、２３０では、再構成された３Ｄ画像を使用して、他の後処理を行うことができる。

任意選択で、再構成された３Ｄ画像は、身体セグメントを描写する別の３Ｄ解剖学的画像とレジストレーションされる。３Ｄ解剖学的画像は、ＣＴ及びＭＲＩなど、３Ｄ撮像モダリティデバイスによってキャプチャされる。レジストレーションは、再構成された３Ｄ画像に描写され、３Ｄ解剖学的画像に描写された身体セグメントの表面から抽出された特徴に少なくとも従って行われてもよい。例えば、皮膚表面間でレジストレーションを行い、さらに内部の血管及び／または他の組織間で行ってもよい。

あるいは、またはさらに、再構成された画像は、手術計画アプリケーションなどの別の処理アプリケーション、血管病態を診断するニューラルネットワークに入力としてフィードされる。

２３２では、２０４～２３０を参照して記述された１つまたは複数の特徴を繰り返すことができる。繰り返しは、追加の超音波画像及びカメラ画像をキャプチャし、追加のピクセル及び３Ｄ座標データを収集し、再構成３Ｄ画像を追加のデータで更新して、更新された再構成３Ｄ画像の解像度を高めることによって行われてもよい。画像の解像度は、ユーザが超音波プローブを動かして追加の画像をキャプチャするにつれて高まる可能性がある。

任意選択で、２３４では、アドオンデバイスが設けられる。このアドオンデバイスは、本明細書に記載されるように、超音波画像及びカメラ画像をキャプチャするために使用される。

ここで図１４に戻り参照すると、カメラ１４０６によってカメラ画像をキャプチャするための超音波プローブ１４０４、及び３Ｄ画像を再構成するために使用される超音波画像をキャプチャするための超音波トランスデューサ１４０６へのアドオン１４０２を描写する概略図が提供される。アドオン１４０２は、超音波画像をキャプチャするための、及び／またはプローブ１４０４の軸に対応する、超音波トランスデューサ１４０８の軸１４１２と、カメラ画像をキャプチャするためのカメラ１４０６の軸１４１４との間に、例えば７．２度、またはその他の値の固定角度１４１０を与えるように置かれる。既知の角度１４１０に従ってカメラ１４０６によってキャプチャされたカメラ画像に基づいて、超音波トランスデューサ１４０６の３Ｄ姿勢を計算してもよい。３Ｄ画像を再構成するために使用される超音波画像のピクセルに対応する３Ｄボクセルは、本明細書に記載されるように、既知の角度１４１０に基づいて、計算された超音波トランスデューサ１４０６の姿勢に基づいて計算されてもよい。

アドオン１４０２は、プローブ１４０４に固定して接続するサイズ及び形状に作られた、例えば摩擦によって固定されたコネクタ構成要素１４１６を含み、例えば、コネクタ構成要素１４１６は、プローブ１４０４の外側周囲長に対して固定するサイズに作られたアパーチャを含むため、アパーチャがプローブ１４０４の上で摺動する場合、プローブ１４０４はアパーチャ内に、ねじ、接着剤、射出成形などによってプローブ１４０４の一体部品として形成されたもの、及び／またはクリップで固定される。

カメラハウジング１４１８は、コネクタ１４１６に接続される。カメラハウジング１４１８は、プローブ１４０４の軸に対応する軸１４１２、コネクタ構成要素１４１２に対して所定の角度１４１０に置かれる。カメラ１４０６は、カメラハウジング１４１８内に配置される。カメラ１４０６は、超音波トランスデューサ１４０８によってキャプチャされた超音波画像に対して、所定の角度１４１０でカメラ画像をキャプチャする。

任意選択で、アドオン１４０２は、カメラ１４０６のケーブル１４２０及び／またはプローブ１４０４のケーブル１４２２用のサイズ及び形状に作られたアパーチャを含む。ケーブルは、キャプチャするカメラ画像及び／または超音波画像を伝送するためにコンピュータに接続されることができる。ケーブルは、電源に接続するためのものであってもよい。あるいは、またはさらに、カメラ１４０６及び／またはプローブ１４０４が無線インタフェースを使用して画像を伝送する場合、及び／またはバッテリを使用する場合、アパーチャは必ずしも必要とされない。

任意選択で、アドオン１４０２は、例えばカメラハウジング１４１８内に、及び／またはカメラ１４０６内に、及び／または別のコンポーネントとして位置している、光源を含む。光源は、本明細書に記載されるように、超音波ゲル内に懸濁されている標的となるフィデューシャルオブジェクトに応じて選択された周波数、例えば、紫外光及び／または選択された周波数で発光して、蛍光材料及び／またはＵＶ光に反応して増強する材料で作られたフィデューシャルオブジェクトを増強するように設定され得る。光源は、カメラ１４０６によってキャプチャされるカメラ画像に描写される体の表面にある超音波ゲルの一部に光を透過させるために、カメラ１４０６の角度１４１０に対応する、予め選択された角度１４１０に置かれてもよい。

ここで図１５に戻り参照すると、図１５は、超音波プローブに接続するサイズ及び形状に作られたコネクタ構成要素１５１６と、プローブの超音波トランスデューサの長軸に対応するコネクタ構成要素１５１６の長軸に対して所定の角度に置かれたカメラハウジング１５１８とを含む、超音波プローブへの例示的なアドオン１５０２を描写する概略図である。概略図１５５０は、アドオン１５０２の左側正面図である。概略図１５５２は、アドオン１５０２の右側背面図である。

コネクタ構成要素１５１６は、プローブのハンドル上で摺動するように設計されたチャネル１５５４を含む。複数のねじアパーチャ１５５６は、プローブに対して適所に固定されたアドオン１５０２を固定するためのねじを受け入れるように設計されている。本明細書に記載されるように、他の固定機構が使用される可能性があることに留意する。

カメラハウジング１５１８はビューアパーチャ１５５８を含み、このビューアパーチャを通してカメラハウジング１５１８内に位置したカメラのレンズがカメラ画像をキャプチャする。カメラハウジング１５１８は、カメラに接続されたケーブルを位置決めするサイズ及び形状に作られたカメラケーブルアパーチャ１５６０を含み得る。ケーブルは、カメラ画像を受信するためにコンピュータに接続されてもよい。代替に、ケーブルは、電源に接続するためのものであってもよい。画像を伝送するために無線インタフェースを使用する場合、及び／またはバッテリを使用する場合、ケーブル及び／またはアパーチャ１５６０が必ずしも必要ではないことに留意する。

ここで図１６に戻り参照すると、図１６は、超音波プローブ１６０４へのアドオン１６０２の別の例示的な実装の概略図である。アドオン１６０２は、２つのカメラハウジング１６１８Ａ～Ｂを含み、これら２つのカメラハウジングは、それぞれカメラ１６０６Ａ～Ｂを含む。すなわち、ハウジング１６１８Ａ内にカメラ１６０６Ａ及びハウジング１６１８Ｂ内にカメラ１６０６Ｂを含む。本明細書で説明されるように、カメラハウジング１６１８Ａ～Ｂは、アドオン１６０２を超音波プローブ１６０４に固定して接続するコネクタ構成要素１６１６に接続される。カメラハウジング１６１８Ａ～Ｂは、それぞれコネクタ構成要素の長軸に対して所定の角度に置かれると、本明細書に記載されるように、超音波プローブ１６０４に対して、及び／またはプローブ１６０４の超音波トランスデューサ１６０８によってキャプチャされた超音波画像に対して、所定の角度でカメラ１６０６Ａ～Ｂを固定する。両方のカメラ１６０６Ａ～Ｂの所定の角度は同じであってもよく、または各カメラ１６０６Ａ～Ｂは異なる所定の角度に置かれてもよい。

任意選択で、カメラハウジング１６１８Ａ～Ｂ及び対応するカメラ１６０６Ａ～Ｂは、コネクタ構成要素１６１６の長軸に対して垂直な約９０度またはその他の値で分離される。すなわち、コネクタ構成要素１６１６の長軸に対する半径方向の距離は約９０度である。９０度の角度は、超音波トランスデューサ１６０８の矢状または長手方向の方位の間の対象の体表面の同じ領域のカメラ画像をキャプチャするために選択され得る。その他の角度を使用することもでき、その場合、既知の角度を使用して、２つの画像間の関係を計算する。例えば、長手方向の検査では、超音波トランスデューサ１６０８の長軸が組織の長軸と平行に、例えば血管の長さに沿って配置され、カメラ１６０６Ｂは、血管より上の体表面上に位置している粘性材料（例えば、超音波ゲル）中にランダムに分布しているフィデューシャルオブジェクトのカメラ画像をキャプチャするように置かれている。矢状検査では、超音波トランスデューサ１６０８の長軸が組織の長軸に対してある角度に、例えば血管の直径に沿って配置され、カメラ１６０６Ａは、長手方向の検査中にカメラ１６０６Ｂによってキャプチャされるような体表面上の同じ位置に存在する粘性材料（例えば、超音波検査用ゲル）中にランダムに分布している同じフィデューシャルオブジェクトのカメラ画像をキャプチャするように置かれている。超音波トランスデューサ１６０８の異なる方位の間に粘性材料中にランダムに分布しているフィデューシャルオブジェクトをキャプチャすると、組織（例えば、血管）の３Ｄ画像の再構成が可能になる。これらフィデューシャルオブジェクトは、世界単位でトランスデューサの構造体及び運動の実際のスケールを計算するために追加の情報を加える場合がある。任意選択で、アドオン１６０２は慣性計測ユニット（ＩＭＵ）を含み、このＩＭＵを、後続のカメラ画像内のフィデューシャルオブジェクトの位置における相対変化の解析の代替または追加として使用して、超音波トランスデューサの姿勢及び／またはカメラの姿勢を計算することで、追加情報が加えられ、世界単位でトランスデューサの構造体及び運動の実際のスケールが計算されることができる。

ここで図２１Ａ～Ｂに戻り参照すると、超音波プローブ２１０４へのアドオン２１０２の別の例示的な実装の概略図が描写される。図２１Ａは、アドオン２１０２の正面図を描写する。図２１Ｂは、アドオン２１０２の背面図を描写する。アドオン２１０２は、２つのカメラハウジング２１１８Ａ～Ｂを含み、これら２つのカメラハウジングは、それぞれカメラ２１０６Ａ～Ｂを含む。すなわち、ハウジング２１１８Ａ内にカメラ２１０６Ａ及びハウジング２１１８Ｂ内にカメラ２１０６Ｂを含む。カメラハウジング２１１８Ａ～Ｂは、本明細書で説明されるように、アドオン２１０２を超音波プローブ２１０４に固定して接続する人間工学に基づいたホルダー構成要素２１１６に接続される。例えば、超音波プローブ２１０４は、超音波プローブ２１０４の外部のサイズ及び／または形状に対応する内部のサイズ及び／または形状を有するアドオン２１０２によって形成された区画内で摺動する。超音波プローブ２１０４は、例えば、圧力を加えるクリップによって適所でクリックすることによって、区画の内壁部からの摩擦によって、ストラップによってなど、適所に保持されることができる。人間工学に基づいたホルダー２１１６は、ユーザの手の手掌に対して保持されるように設計されたグリップ２１５０、及びユーザの人差し指を支持するように設計されたリングまたはトリガ様要素２１５２を含むことができる。人間工学に基づいたホルダー２１１６は、ユーザに改善されたグリップを提供することで、超音波スキャン中により細かい制御及び／またはより細かい運動が可能になるように設計されている。

カメラハウジング２１１８Ａ～Ｂは、本明細書に記載されるように、それぞれコネクタ構成要素の長軸に対して所定の角度に置かれると、超音波プローブ２１０４に対して、及び／またはプローブ２１０４の超音波トランスデューサ２１０８によってキャプチャされた超音波画像に対して、所定の角度でカメラ２１０６Ａ～Ｂを固定する。両方のカメラ２１０６Ａ～Ｂの所定の角度は同じであってもよく、または各カメラ２１０６Ａ～Ｂは異なる所定の角度に置かれてもよい。カメラ２１０６Ｂは、係脱可能なレンズ２１２０を備え、カメラ２１０６Ｂ自体から分離することができるため、ユーザが特定のタイプの体のスキャンに異なるレンズを使用することが容易になる。

任意選択で、カメラハウジング２１１８Ａ～Ｂ及び対応するカメラ２１０６Ａ～Ｂは、コネクタ構成要素２１１６の長軸に対して垂直な約９０度またはその他の値で分離される。すなわち、コネクタ構成要素２１１６の長軸に対する半径方向の距離は約９０度である。９０度の角度は、超音波トランスデューサ２１０８の矢状または長手方向の方位の間、対象の体表面の同じ領域のカメラ画像をキャプチャするために選択され得る。他の角度（例えば、約７０度または８０度または１００度または１１０度またはその他の値）を使用してもよく、その場合、既知の角度を使用して、２つの画像間の関係を計算する。例えば、長手方向の検査では、超音波トランスデューサ２１０８の長軸が組織の長軸と平行に、例えば血管の長さに沿って配置され、カメラ２１０６Ｂは、血管より上の体表面上に位置している粘性材料（例えば、超音波ゲル）中にランダムに分布しているフィデューシャルオブジェクトのカメラ画像をキャプチャするように置かれている。矢状検査では、超音波トランスデューサ２１０８の長軸が組織の長軸に対してある角度に、例えば血管の直径に沿って配置され、カメラ２１０６Ａは、長手方向の検査中にカメラ２１０６Ｂによってキャプチャされるような体表面上の同じ位置に存在する粘性材料（例えば、超音波検査用ゲル）中にランダムに分布している同じフィデューシャルオブジェクトのカメラ画像をキャプチャするように置かれている。超音波トランスデューサ２１０８の異なる方位の間に粘性材料中にランダムに分布しているフィデューシャルオブジェクトをキャプチャすると、組織（例えば、血管）の３Ｄ画像の再構成が可能になる。これらフィデューシャルオブジェクトは、世界単位でトランスデューサの構造体及び運動の実際のスケールを計算するために追加の情報を加える場合がある。任意選択で、アドオン２１０２は慣性計測ユニット（ＩＭＵ）（内部構成要素であり得るため、図示せず）を含み、このＩＭＵを、後続のカメラ画像内のフィデューシャルオブジェクトの位置における相対変化の解析の代替または追加として使用して、超音波トランスデューサの姿勢及び／またはカメラの姿勢を計算することで、追加情報が加えられ、世界単位でトランスデューサの構造体及び運動の実際のスケールが計算されることができる。

任意選択で、２３６では、アドオンデバイスを較正する。較正は、カメラ座標系に／から超音波座標系のピクセルをマッピングする１つ以上の較正変換を計算するために実行されてもよい。較正マッピングは、超音波座標系で表された超音波画像及び／またはドップラーデータ及び／またはＢモードのピクセルをカメラ座標系にマッピングしてもよく、その逆も同様であってもよい。マッピングは、カメラの姿勢と超音波トランスデューサの姿勢との間の較正関係に基づいている。較正マッピングを使用して、カメラ座標系で表されたドップラー及び／またはＢモードの超音波画像のピクセルをカメラ座標系内の３Ｄ座標にマッピングする。

較正は、超音波検査用ゲルを備えたボックス、ランダムな間隔で置かれたストリング、及び近傍チェッカーボードパターンを含む特別に設計された装置を用いて行われてもよく、または他のパターンを用いてもよい。超音波トランスデューサがシリコンボックスをスキャンする場合、ボックス内側のストリング断面の超音波画像、及びチェッカーボードのカメラ画像という２つの画像が同時に現れる。２つの画像は互いに関連し、チェッカーボードからのカメラの姿勢は、シリコーンに浸漬した既知のストリングからのトランスデューサの異なる姿勢に対応する。２つの画像の間の関係は、異なるチェッカーボード位置からいくつかの画像を収集する較正プロセスによって決定され、対応するＵＳ画像は、解析され、グランドトゥルースと、すなわち、３Ｄコンピュータモデリングによって強制される角度及び距離と比較される。プロセスのアウトカムは、カメラ画像の姿勢をトランスデューサの姿勢に変換するためのホモジニアス較正変換を提供する。

較正は、幾何学的形状が画定されていないストリングのランダムなバージョン、及びチェッカーボードの使用に基づいて使用されてもよい。別の例では、別の較正デバイスは、超音波検査用ゲル及び穴部及びＡｐｒｉｌタグを備えた単純なボックスに基づいている。カメラの姿勢は推定プロトコルに基づいており、推定プロトコルは、キャプチャされた画像内で検出されることができる、検出されたＡｐｒｉｌタグのそれぞれに対するカメラの姿勢を決定する。同時に、トランスデューサはボックスの頂部と底部との両方をキャプチャし、これらを使用して、カメラとトランスデューサとの間のホモジニアス変換を決定することができる。

ここで図１７に戻り参照すると、例えば図１を参照して記述された較正デバイス１５２に対応する、較正デバイス１７５２の例示的な実装を描写する概略図が提供される。較正デバイス１７５２は、所定の第一グランドトゥルースパターン１７６２を有する超音波区画１７６０、及び所定の第二グランドトゥルースパターン１７６６を有するカメラ区画１６４を含む。

超音波区画１７６０は、上側が開口しているボックスとして実装されることができる。グランドトゥルースパターン１７６２は、透明シリコンのような超音波透過性媒体に浸された、所定の３Ｄ座標を有する３Ｄパターンであってよい。グランドトゥルースパターン１７６２は、例えば、様々な角度に配置されたポール、及び／または異なる高さ及び／または方位、及び／またはランダムパターンに配置された、異なる形状、一致した突出部を備えた傾斜部、及び／または角度を有する異なる物体、例えば、ボックス、球体、ピラミッド形、矩形であってよい。あるいは、またはさらに、グランドトゥルースパターン１７６２は、２Ｄパターン、例えば、チェッカーボードパターン及び／またはワイヤパターンであってもよい。グランドトゥルースパターン１７６６は、例えばチェッカーボードパターンなど、２Ｄ及び／または３Ｄであってよい。パターン１７６２及び１７６６の形状は予め画定されており、例えば、パターン１７６２は３Ｄプリンタを用いてプリントされ、チェッカーボードパターン１７６６は２Ｄプリンタを用いてプリントされる。

カメラ区画１７６２は、超音波区画１７６０に近接して位置決めされてもよく、任意選択で伝達位置決め領域１７６８によって分離されてもよい。カメラ区画１７６２、超音波区画１７６０、及びトランスデューサ位置決め領域１７６８の配置は、トランスデューサ位置決め領域１７６８に位置する超音波トランスデューサによって所定の第一３Ｄグランドトゥルースパターン１７６２を描写する超音波画像と、トランスデューサ位置決め領域１７６８に位置する超音波トランスデューサに接続されたプローブ上に配置された超音波プローブへのアドオン内に位置するカメラによって所定の第二グランドトゥルースパターン１７６６を描写するカメラ画像とを同時に、またはほぼ同時にキャプチャするように選択される。

以下は、較正デバイス１７５２を用いる較正用の例示的な擬似コードである：
１．Ｉｎｉｔ Ｂｏｔｈ ｕｌｔｒａｓｏｕｎｄ ｔｒａｎｓｄｕｃｅｒ ａｎｄ ｃａｍｅｒａ
２．Ｃｏｌｌｅｃｔ ｓｅｖｅｒａｌ ｃｈｅｃｋｅｒｂｏａｒｄ ｉｍａｇｅｓ ａｎｄ Ｂ－Ｍｏｄｅ ｉｍａｇｅｓ ｆｒｏｍ ｄｉｆｆｅｒｅｎｔ ｏｒｉｅｎｔａｔｉｏｎｓ ａｎｄ ｐｏｓｉｔｉｏｎｓ
３．Ｌｏｃａｔｅ ｓｔｒｉｎｇｓ ｐｏｓｉｔｉｏｎ ｉｎ ｔｒａｎｓｄｕｃｅｒ ｉｍａｇｅ ａｎｄ ｅｓｔｉｍａｔｅ ｃａｍｅｒａ ｐｏｓｅ ｉｎ ｗｏｒｌｄ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ ｒｅｌａｔｉｖｅ ｔｈｅ ｃｈｅｃｋｅｒｂｏａｒｄ ｐａｔｔｅｒｎ
４．Ｆｉｎｄ ｈｏｍｏｇｅｎｏｕｓ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｂｅｔｗｅｅｎ ｔｈｅ ｔｒａｎｓｄｕｃｅｒ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ ａｎｄ ｔｈｅ ｃａｍｅｒａ ｂｙ ｍｉｎｉｍｉｚｉｎｇ ｔｈｅ ｒｅｌａｔｉｖｅ ｄｉｓｔａｎｃｅ ｂｅｔｗｅｅｎ ｔｈｅ ａｃｔｕａｌ ｐｏｓｉｔｉｏｎ ｏｆ ｔｈｅ ｒｅｃｏｒｄｅｄ ｓｔｒｉｎｇｓ ｐｏｓｉｔｉｏｎｓ ａｎｄ ｔｈｅ ３Ｄ ｋｎｏｗｎ ｐｏｓｉｔｉｏｎｓ．
５．Ｒｅｔｕｒｎ ｃｏｍｐｕｔｅｄ ｔｒａｎｓｆｏｒｍａｔｉｏｎ

ここで図１８を参照すると、例えば図１を参照して記述された較正デバイス１５２に対応する、別の較正デバイス１８５２の別の例示的な実装を描写する概略図が提供される。較正デバイス１８５２は単一区画１８５４を含み、この単一区画は、この単一区画１８５４の頂部上に配置される、所定の共通２Ｄマーカ及び／または３Ｄトゥルースパターン１８５６を含む。区画１８５４は、例えば、円形状表面を有する形状に作られてもよい。区画１８５４は、例えば、半球、円柱、またはその他の形状として作られてもよい。パターン１８５６は、区画１８５４の球体の境界（例えば、周囲長）の外部及び／または周囲に（例えば、その近くに）配置されてよく、例えば、パターン１８５６のインジケータは、区画１８５４の外側周囲長に沿って等間隔に置かれる。区画１８５４は、超音波透過性超音波検査用媒体、例えば、透明シリコンまたは超音波検査用ゲルを含む（例えば、それで充填される）。超音波トランスデューサが区画１８５４の頂部（任意選択で略中央）に配置される場合、カメラはパターン１８５６のカメラ画像をキャプチャし、超音波トランスデューサは、頂面１８６０から底面１８６２までの区画１８５４の内部の超音波画像（例えば、画像１８９０が一例である）をキャプチャする。超音波は、著しく減衰することなく頂面１８６０を通過してもよく、そのうえ穴部１８６４を通過してもよい。穴部１８６４は、区画１８５４に対して、例えば、頂部上、底部上、及び／またはそれらの内（例えば、中央）に位置していてもよい。パターン１８５６は、例えば紫外（ＵＶ）光及び／または蛍光下で増強されるなど、選択された特性を有する材料で作られてよく、高コントラストでプリントした較正パターンで作られてもよい。

以下は、較正デバイス１８５２を用いる較正用の例示的な擬似コードである：
１．Ｉｎｉｔ Ｂｏｔｈ ｔｒａｎｓｄｕｃｅｒ ｃａｍｅｒａ ａｎｄ ｔｈｅ ｃａｍｅｒａ
２．Ｃｏｌｌｅｃｔ ｓｉｍｕｌｔａｎｅｏｕｓｌｙ ｓｅｖｅｒａｌ ｃａｍｅｒａ ｉｍａｇｅｓ ｏｆ ｔｈｅ ｍａｒｋｅｒｓ ａｎｄ ｔｈｅ ｔｒａｎｓｄｕｃｅｒ ｉｍａｇｅｓ ｆｒｏｍ ｄｉｆｆｅｒｅｎｔ ｏｒｉｅｎｔａｔｉｏｎｓ ａｎｄ ｐｏｓｉｔｉｏｎｓ
３．Ｆｏｒ ｅａｃｈ ｔｒａｎｓｄｕｃｅｒ ｉｍａｇｅ ｌｏｃａｔｅ ｆｌｏｏｒ （ＵＶ ｐｉｘｅｌｓ） ｐｏｓｉｔｉｏｎ ｉｎ ＵＳ ｉｍａｇｅ， ａｎｄ ｆｏｒ ｅａｃｈ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｃａｍｅｒａ ｉｍａｇｅ ｌｏｃａｔｅ ｅａｃｈ ｍａｒｋｅｒ ｐｏｓｉｔｉｏｎ ｉｎ ｗｏｒｌｄ ｕｎｉｔｓ
４．Ｆｏｒ ｅａｃｈ ｄｅｔｅｃｔｅｄ ｔａｇ ａｎｄ ｆｏｒ ｅａｃｈ ＵＶ ｆｌｏｏｒ ｐｉｘｅｌ ｃｏｍｐｕｔｅ ｔｈｅ ｅｓｔｉｍａｔｅｄ ｆｌｏｏｒ ｄｅｐｔｈ ｂａｓｅｄ ｏｎ ｈｏｍｏｇｅｎｅｏｕｓ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｆｒｏｍ ＵＶ ｉｍａｇｅ ｔｏ ｃａｍｅｒａ ｐｏｓｅ ｉｎ ｔｈｅ ｔａｇ ｃｏｏｒｄｉｎａｔｅｓ ｓｙｓｔｅｍ
５．Ｆｉｎｄ ａ ｈｏｍｏｇｅｎｅｏｕｓ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｔｈａｔ ｍｉｎｉｍｉｚｅｓ ｔｈｅ ｒｅｌａｔｉｖｅ ｄｉｓｔａｎｃｅ ｂｅｔｗｅｅｎ ｔｈｅ ａｃｔｕａｌ ｋｎｏｗｎ ｄｅｐｔｈ ｏｆ ｔｈｅ ｆｌｏｏｒ ｆｒｏｍ ｔｈｅ ｔｏｐ ｓｕｒｆａｃｅ ａｎｄ ｔｈｅ ｅｓｔｉｍａｔｅｄ ｄｅｐｔｈ ｂａｓｅｄ ｏｎ ｔｈｅ ａｂｏｖｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ （ＵＳ ｉｍａｇｅ ｔｏ ｗｏｒｌｄ ｃｏｏｒｄｉｎａｔｅｓ）．
６．Ｒｅｔｕｒｎ ｃｏｍｐｕｔｅｄ ｔｒａｎｓｆｏｒｍ

任意選択で、ＩＭＵの較正には、ＩＭＵ測定及びカメラ記録方位を同時に使用し、重力をＩＭＵ座標系のＺ成分として使用する。

ここで図３に戻り参照すると、３０２では、粘性材料は、その少なくとも一部がその体積でランダムに分布し、ランダムな距離で離隔されたフィデューシャルオブジェクトを含む流体（任意選択で超音波検査用ゲル）であるが、個体の身体セグメントの表面の関心対象の血管に対応する位置に塗布される。

材料が超音波検査用ゲルである場合、このゲルは、皮膚のより広い領域に塗布されてもよく、超音波画像を取得するための標準的な方法に使用されてもよい。

３０４では、１つまたは複数のカメラを含むアドオンコンポーネントを備えた超音波トランスデューサのプローブは、体表面に沿って操作される。体内の血管の超音波画像と、身体セグメントの表面を描写し、フィデューシャルオブジェクトを描写するカメラ画像とを任意選択で同時にキャプチャする。

３０６では、超音波画像から１つ以上の３Ｄ画像を再構成し、カメラ画像の解析をディスプレイ上に提示する。

任意選択で、３Ｄ画像は、血管内の複数の領域での血流の視覚的なインジケーションを描写する。あるいは、またはさらに、３Ｄ画像を組織型に従ってセグメント化する。あるいは、またはさらに、３Ｄ画像は、実世界座標を表す共通の実世界座標系内で身体セグメントの皮膚及び血管を描写し、身体セグメントの表面に対する血管の３Ｄ画像の再構成に基づいて血管病態を診断することは、さらに３Ｄ画像によって描写された血管の血流に基づいている。

３０８では、３Ｄ画像を解析する。この解析は、視覚による検査及び／または測定によって手動で行われてもよく、及び／または３Ｄ画像を、診断を指示するアウトカムを生成する機械学習プロセス（例えば、ニューラルネットワーク）にフィードすることによって自動で行われてもよい。

３１０では、血管病態を３Ｄ画像の解析に基づいて診断する。例えば、血管の狭窄。

３１２では、開放手術及び／またはカテーテル手技中に血管病態を治療する。導入、ナビゲーション及び／または治療は、例えば３Ｄ画像の皮膚及び血管が提示される実世界座標系によって描写された距離及び／または相対位置に従って、３Ｄ画像によってガイドされてもよい。例示的な治療は、カテーテルによって送達されるステント、バルーン拡張、アブレーション、薬物注入、及び手技による切除及び／または修復を含む。

３１４では、血管治療の有効性は、治療後に取得した３Ｄ画像に基づいて評価される場合がある。例えば、３Ｄ画像のセグメント化を解析して、動脈からプラークを完全に除去したかどうかを決定する、及び／または血流パターンが正常に戻ったかどうかを決定する。

３１６では、３０２～３１６を参照して記述された１つまたは複数の特徴を繰り返す。

任意選択で、繰り返しは、例えば治療された血管病態を描写する血管の超音波画像を同時にキャプチャするように、体の表面上でプローブを再操作し、超音波画像とプローブの再操作中にキャプチャされたカメラ画像とから作成された血管の別の３Ｄ再構成で治療された血管病態を解析し、別の３Ｄ再構成に基づいて別の治療手技を必要とすると治療された血管病態が決定される場合、治療された血管病態を再治療することによって実行される。

あるいは、またはさらに、繰り返しは、超音波トランスデューサの軸方向及び／または長手方向の方位での血管病態に対応する表面の小領域内で超音波トランスデューサを繰り返し操作して、異なる角度及び距離で血管病態の複数の超音波画像をキャプチャすることによって実行される。３Ｄ画像の解像度、任意選択で血管病態の３Ｄ画像の解像度は、小領域にわたる超音波トランスデューサの操作数が増加するにつれて高まる。

あるいは、またはさらに、繰り返しは、データを解析して、疾患セグメント（例えば、低速の血液の高速化、ステント、高カルシウム含量）を検出するコードに基づいて行われる。この検出に応答して、そのセグメントを繰り返しスキャンして、データを増加させ、疾患セグメントのより高解像度の撮像を得るためのインジケーション（例えば、ビープ音、オーディオメッセージ、ディスプレイ上に提示されるテキストメッセージ、及び／またはビデオ）をユーザに提供してもよい。任意選択で、コードは、標的となる高解像度の３Ｄ画像を生成するのに十分なデータを収集したときに検出するために取得したデータ量を監視し、また超音波スキャンを停止する、及び／またはスキャンされるその次の体の領域に移動するために別のインジケーションをユーザに提供してもよい。

ここで図１９に戻り参照すると、既存のアプローチを用いる標準血管治療を描写する概略図１９０２、ならびに超音波画像及びカメラ画像から作成された３Ｄ画像を用いる血管治療を描写する概略図１９０４が提供される。概略図１９０２に描写されるように、標準プロセスは、例えば足の血流が不十分になる可能性がある脚の血管病態を治療するためのものであり、脚の標準ドップラーを含み得る。２日の入院が必要な場合があるＣＴＡを実施し得る。血管病態を治療するために１～２週後に血管造影手技を実施し得、３日の入院を必要とする可能性がある。１～２ヶ月のフォローアップによって手技の結果を取得することができる。対照的に、概略図１９０４は、例えばカテーテルを血管内にガイドするなどのために治療前、治療中、そして例えば血管治療の効果を評価するなどのために治療後、脚の血管のリアルタイム３Ｄ画像を作成し得る方法を描写し、これにより、同日及び／または２日の入院が可能になる可能性がある。

図２０は、様々な位置から超音波システムのドップラーモードによって、また同じ座標系及び同じ容積２００２では、対応する既知の３Ｄ動脈モデル２００６内のそれに応じた位置によって、測定され得る、血流量測定の境界条件２００６として統合する、アプリオリな３Ｄ動脈モデル２００６による、数値流体力学シミュレーション２０１０を使用することによって、推定血流速度場２００４を計算するためのプロセスを描写する。

本発明の様々な実施形態の説明は、例示の目的で提示されたが、開示された実施形態を網羅し、または限定することを意図したものではない。記載された実施形態の範囲及び趣旨から逸脱することなく、多くの修正及び変形が当業者には明らかとなるであろう。本明細書で使用される用語は、実施形態の原理、市場で見出される技術に対する実用的応用または技術改善を最もよく説明するために選択され、あるいは当業者が本明細書に開示された実施形態を理解できるようにするために選択されたものである。

本出願から成熟する特許の存続期間中に、多くの関連する粘性材料及びフィデューシャルオブジェクトが開発され、粘性材料及びフィデューシャルオブジェクトという用語の範囲が、そのような全ての新技術を先験的に含むことを意図したものであることが予想される。

本明細書で使用するとき、「約」という用語は、±１０％を意味する。

「含む（ｃｏｍｐｒｉｓｅｓ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「有している（ｈａｖｉｎｇ）」という用語及びそれらの同根語は、「～を含むが、～に限定されない」ことを意味する。この用語は、「～からなる」及び「～から本質的になる」という用語を包含する。

「本質的に～からなる（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」という表現は、組成物または方法が、追加の成分及び／またはステップを含むことができるが、追加の成分及び／またはステップが、特許請求された組成物または方法の基本的かつ新規な特性を実質的に変えない場合に限ることを意味する。

本明細書で使用する場合、文脈上明らかに別段に示されている場合を除き、「ある、１つの（ａ）」、「ある、１つの（ａｎ）」及び「この、その（ｔｈｅ）」という単数形には、複数の指示対象が含まれる。例えば、「化合物（ａ ｃｏｍｐｏｕｎｄ）」または「少なくとも１つの化合物（ａｔ ｌｅａｓｔ ｏｎｅ ｃｏｍｐｏｕｎｄ）」という用語は、それらの混合物を含む複数の化合物を含み得る。

本明細書では「例示的な」という言葉は、「例、実例、または説明として役立つ」という意味で使用される。「例示的な」として説明される任意の実施形態は、必ずしも他の実施形態よりも好ましいまたは有利であると解釈されるべきではなく、及び／または他の実施形態からの特徴の組み込みを排除するものではない。

本明細書では、「任意選択で」という言葉は、「ある実施形態では提供され、他の実施形態では提供されない」ことを意味するのに使用される。本発明の任意の特定の実施形態は、そのような特徴が矛盾しない限り、複数の「任意選択」の特徴を含むことができる。

本出願を通して、本発明の様々な実施形態は、範囲形式で提示され得る。範囲形式での記述は、単に便宜上及び簡潔にするためのものであり、本発明の範囲に対する柔軟性のない制限として解釈されるべきではないことを理解されたい。したがって、範囲の説明は、その範囲内の個々の数値だけでなく、可能性のあるすべてのサブ範囲を具体的に開示したものと見なされるべきである。例えば、「１～６」といった範囲の記述は、「１～３」、「１～４」、「１～５」、「２～４」、「２～６」、「３～６」などといったサブ範囲と、その範囲内の個々の数値、例えば、１、２、３、４、５、及び６とが具体的に開示されていると見なされるべきである。これは、範囲の広さに関係なく適用される。

本明細書で数値範囲が示されるときはいつでも、それは、示された範囲内の任意の引用された数字（分数または整数）を含むことを意味する。第１の表示番号と第２の表示番号との「間の範囲（ｒａｎｇｉｎｇ／ｒａｎｇｅｓ ｂｅｔｗｅｅｎ）」という句、及び第１の表示番号「から」第２の表示番号「まで（ｔｏ）」の「範囲（ｒａｎｇｉｎｇ／ｒａｎｇｅｓ ｆｒｏｍ）」という句は、本明細書では互換的に使用され、第１の表示番号及び第２の表示番号と、それらの間の分数及び整数の数字のすべてを含むことを意味する。

明確にするために別個の実施形態の文脈において説明される本発明のある特徴を、単一の実施形態において組み合わせで設けることもできることが理解される。逆に、簡潔にするために単一の実施形態の文脈において説明される本発明の様々な特徴を、別々に、または任意の好適なサブコンビネーションで、または本発明の任意の他の説明された実施形態において好適なものとして設けることもできる。様々な実施形態の文脈で説明される特定の特徴は、実施形態がそれらの要素なしでは機能しない場合を除いて、それらの実施形態の本質的な特徴と見なすべきではない。

本発明をその特定の実施形態に関連して説明したが、多くの代替案、修正及び変形が当業者には明らかであろうことは明白である。したがって、添付の特許請求の範囲の趣旨及び広い範囲に含まれるそのようなすべての代替案、修正及び変形を包含することが意図されている。

本明細書に記述される全ての刊行物、特許、及び特許出願は、各個別の刊行物、特許、または特許出願が、参照により本明細書に組み込まれることが示されているときに、これが明確かつ個別に注記されているかのように、参照によりその全体が本明細書に組み込まれることが出願人（出願人ら）の意図である。さらに、本願におけるいずれかの参考文献の引用または特定は、そのような参考文献が本発明の先行技術として利用可能であるということの承認として解釈するべきではない。セクションの見出しが使用されている場合、それらは必ずしも限定的であると解釈されるべきではない。さらに、本願のいずれかの優先権書類は、本明細書により、その全体が参照により本明細書に組み込まれる。

Claims (48)

1. 個体の血管内の血流を描写する３Ｄ画像を再構成するためのコンピュータ実装方法であって、
   血管をその中に血液が流れている状態で、そして前記血管の領域内の血流の測定を描写するドップラー超音波画像と、粘性材料内にランダムに分布し、前記個体の身体セグメントの表面上でランダムな距離によって離隔された複数のフィデューシャルオブジェクトを描写するカメラによってキャプチャされた２Ｄカメラ画像とを取得することであって、前記ドップラー超音波画像は少なくとも１つのドップラー超音波画像を含み、前記２Ｄカメラ画像は少なくとも１つの２Ｄカメラ画像を含む、前記取得することと、
   連続した２Ｄカメラ画像内の前記複数のフィデューシャルオブジェクトの位置における相対変化の解析によって計算された超音波トランスデューサ姿勢の外部基準を用いて、前記ドップラー超音波画像のそれぞれのピクセルに対する世界座標系内の３Ｄ座標を計算することと、
   前記血管内の複数の位置での前記ドップラー超音波画像の複数のピクセルのそれぞれに対してそれぞれの推定血流量を計算することと、
   前記ドップラー超音波画像の前記ピクセルの前記３Ｄ座標から計算された３Ｄボクセルから、それぞれの推定血流量を含む３Ｄ画像を再構成することであって、前記３Ｄ画像は前記血管の解剖学的画像を描写し、血流を描写する、前記再構成することと、
   を含む、前記コンピュータ実装方法。
2. 前記３Ｄ座標は、前記フィデューシャルオブジェクトのサイズを使用することによって、及び／または慣性計測ユニット及び別のカメラからなる群から選択された他のセンサからの情報を追加することによって、前記世界座標系に対する実際のスケールに補正することによってさらに計算される、請求項１に記載のコンピュータ実装方法。
3. 前記３Ｄ画像は、前記個体の前記身体セグメントの前記表面を描写する３Ｄ点群またはメッシュから計算されたボクセルをさらに含む、請求項１に記載のコンピュータ実装方法。
4. 前記ドップラー超音波画像のそれぞれの前記ピクセルの前記３Ｄ座標を計算することは、
   前記連続した２Ｄカメラ画像内の前記複数のフィデューシャルオブジェクトの位置における相対変化を解析することによって、前記世界座標系に対するカメラ座標系での前記カメラの姿勢を計算することと、
   超音波座標系で表される前記超音波画像のピクセルを前記カメラ座標系にマッピングするために較正マッピングを適用することであって、前記較正マッピングは前記カメラの前記姿勢と超音波トランスデューサの姿勢との間の所定の変換に基づいている、前記適用することと、
   前記カメラ座標系で表された前記超音波画像の前記ピクセルを前記世界座標系内の前記３Ｄ座標にマッピングすることと、
   を含む、請求項１に記載のコンピュータ実装方法。
5. 前記それぞれの推定血流量を計算することは、前記血流量が測定される前記血管の方向を示すベクトルに対してある角度に位置した前記超音波トランスデューサによってキャプチャされた前記ドップラー超音波画像から計算された推定血流量を含み、さらに前記角度の前記推定血流量を補正して、推定実血流量を取得することを含む、請求項１に記載のコンピュータ実装方法。
6. 前記補正することは、前記血管の楕円形状の境界を識別することと、前記楕円形状から円形への変換を計算することと、前記変換を適用して前記測定された血流速度ベクトルを投影し、前記実血流量を取得することとを含む、請求項５に記載のコンピュータ実装方法。
7. 複数のドップラー超音波画像のそれぞれの取得面から取得された複数の３Ｄ点の集約に基づいて前記血管の長手方向軸の推定値を計算し、前記長手方向軸に対する現在の接線を計算することをさらに含み、前記補正することは、前記接線と、前記接線によって示された前記それぞれの取得面の法線との間の角度に基づいて、前記血流量の測定値を補正することを含む、請求項５に記載のコンピュータ実装方法。
8. 事前に計算された３Ｄ動脈オブジェクト内の血流量の推定値を計算することと、前記３Ｄ動脈オブジェクト内の血流量の推定値を計算するために、複数のドップラー超音波画像のそれぞれの取得面から取得された数値流体力学シミュレーション及び３Ｄ点を使用することとをさらに含む、請求項５に記載のコンピュータ実装方法。
9. それぞれの３Ｄボクセルごとに、複数の初期推定血流量値と、前記それぞれの初期推定血流量を計算するために使用されたそれぞれのドップラーＵＳ画像がキャプチャされる前記超音波トランスデューサの平面に対する対応する法線とを格納することと、
   記録血流速度ベクトルと想定流速ベクトルとの間の投影誤差を最小にすることに基づいて各ボクセルで実血流量を推定することと、
   をさらに含む、請求項５に記載のコンピュータ実装方法。
10. 複数の心周期に特異的な位置に矢状ビュー上の前記血管内の容積流量を取得し、前記複数の心周期にわたる平均容積流量を計算することと、
    －１～１の範囲内の実数を示すガンマ値を計算して、前記平均容積流量及び前記推定実血流量を補正することと、
    前記ガンマ値の逆数を使用することによってコサイン角を計算することと、
    前記コサイン角、及び推定血流量と実血流量との間のドット積を使用して、前記平均容積流量を補正することと、
    をさらに含む、請求項９に記載のコンピュータ実装方法。
11. （ｉ）前記ドップラー超音波画像及び前記２Ｄカメラ画像を取得することと、（ｉｉ）Ｂモード超音波画像及び２Ｄカメラ画像を含む第二画像を取得することとを交互に行うこと、
    前記世界座標系で前記Ｂモード超音波画像のそれぞれのピクセルの３Ｄ座標を計算すること、をさらに含み、
    前記３Ｄ画像を再構成することは、それぞれの推定血流量を含む前記Ｂモード超音波画像及び前記ドップラー超音波画像の前記ピクセルの前記３Ｄ座標を集約することによって計算された前記世界座標系での３Ｄボクセルから前記３Ｄ画像を再構成することを含み、
    前記３Ｄ画像は、前記Ｂモードの前記ピクセルから取得された前記３Ｄボクセルの前記集約から作成された前記血管の前記解剖学的画像を描写し、前記Ｂモードの前記ピクセルから取得された前記３Ｄボクセルに関連する前記血流量を描写する、請求項１に記載のコンピュータ実装方法。
12. 前記それぞれの推定血流量は前記血管内の前記複数の位置に対応する前記３Ｄ画像の前記３Ｄボクセルのカラーコード化として描写され、前記ドップラー超音波画像のピクセルは、血流量を示すようにカラーコード化され、前記カラーピクセルをセグメント化することをさらに含み、前記３Ｄ画像は、前記セグメント化されたカラーピクセルに対応する３Ｄボクセルから再構成される、請求項１に記載のコンピュータ実装方法。
13. 前記３Ｄボクセルの前記それぞれの推定血流量は、撮像時間間隔にわたる最大値として選択され、前記撮像時間間隔中に前記３Ｄボクセルに対応する前記血管内の領域を描写する前記ドップラー超音波画像がキャプチャされる、請求項１に記載のコンピュータ実装方法。
14. 前記３Ｄボクセルを計算するために使用された複数のドップラー超音波画像は、血流量におけるばらつきを描写する撮像時間間隔にわたりキャプチャされ、前記再構成された３Ｄ画像は、前記３Ｄボクセルについて、前記撮像時間間隔にわたる血流量におけるばらつきのそれぞれのインジケーションを含む、請求項１に記載のコンピュータ実装方法。
15. 前記再構成された３Ｄ画像は、前記撮像時間間隔にわたる前記３Ｄボクセルに対応する前記血流量の前記インジケーションを変動させることによって、撮像時間間隔にわたるビデオとして提示される、請求項１２に記載のコンピュータ実装方法。
16. 個体の身体セグメントを描写する２Ｄ超音波画像から再構成された３Ｄ画像をセグメント化するためのコンピュータ実装方法であって、
    身体セグメントの共通領域を描写する２Ｄ超音波画像と、粘性材料内に３Ｄでランダムに分布し、前記身体セグメントの表面上にランダムな距離によって離隔された複数のフィデューシャルオブジェクトを描写するカメラによってキャプチャされた２Ｄカメラ画像とを取得することと、
    連続した２Ｄカメラ画像内の前記複数のフィデューシャルオブジェクトの位置における相対変化の解析によって計算された超音波トランスデューサの姿勢の外部基準を用いて、前記２Ｄ超音波画像のそれぞれのピクセルに割り当てられた世界座標系内の３Ｄ座標を有する複数の３Ｄボクセルを計算することと、
    前記複数の３Ｄボクセルからの３Ｄ画像を再構成することと、
    前記３Ｄボクセルごとに、前記超音波トランスデューサの前記姿勢と、前記超音波トランスデューサの前記それぞれの３Ｄボクセル及び前記それぞれの姿勢に対応する前記３Ｄ座標で取得された強度値との間の多次元スパースデータセットのマッピングを格納することと、
    前記複数の３Ｄボクセルを、前記複数の３Ｄボクセルの前記多次元データセットの分布に従って複数のクラスタにクラスタリングすることと、
    前記複数のクラスタに従って前記３Ｄ画像をセグメント化することと、
    を含む、前記コンピュータ実装方法。
17. 前記フィデューシャルオブジェクトのサイズを使用することによって、及び／または慣性計測ユニット及び別のカメラからなる群から選択された他のセンサからの情報を追加することによって、前記世界座標系に対する実際のスケールに前記３Ｄボクセルを補正することをさらに含む、請求項１６に記載のコンピュータ実装方法。
18. 前記２Ｄ超音波画像のそれぞれの前記ピクセルの前記３Ｄ座標を計算することは、
    前記連続した２Ｄカメラ内の前記複数のフィデューシャルオブジェクトの位置における相対変化を解析することによって前記世界座標系に対するカメラ座標系での前記カメラの姿勢を計算し、前記フィデューシャルオブジェクトの前記サイズを使用することによって、及び／または慣性計測ユニット及び別のカメラからなる群から選択された他のセンサからの情報を追加することによって、前記世界座標系に対する実際のスケールに補正することと、
    前記カメラ座標系に、超音波座標系で表された前記２Ｄ超音波画像のピクセルをマッピングするために較正変換を適用することであって、前記較正マッピングは前記カメラの前記姿勢と、前記２Ｄ超音波画像をキャプチャする前記超音波トランスデューサの姿勢との間の所定の関係に基づいている、前記適用することと、
    前記カメラ座標系で表された前記２Ｄ超音波画像の前記ピクセルを前記世界座標系内の前記３Ｄ座標にマッピングすることと、
    を含む、請求項１６に記載のコンピュータ実装方法。
19. 前記クラスタリングすることは、テクスチャを囲む色、強度など、ある計算された値の分布に関する領域内の類似したボクセルを発見するための多様体学習技術に基づいて実行される、請求項１６に記載の方法。
20. 前記クラスタリングすることは、超音波トランスデューサに対する前記それぞれのボクセルに対応する位置の異なる角度及び／または距離に関してキャプチャされた超音波データにおける変化の類似したパターンに従って前記複数の３Ｄボクセルをクラスタリングすることによって実行される、請求項１６に記載の方法。
21. それぞれのクラスタでの３Ｄボクセルは、前記超音波トランスデューサに対して異なる角度及び／または距離に関してキャプチャされた超音波データにおける変化のそれぞれの類似したパターンを作成する、それぞれの組織型を指示する、請求項１９に記載の方法。
22. 個体の身体セグメントの表面及び／または内部の３Ｄ画像を再構成するためのコンピュータ実装方法であって、
    前記個体の前記身体セグメント内の組織を描写する２Ｄ超音波画像と、粘性材料内に３Ｄでランダムに分布し、前記身体セグメントの表面上にランダムな距離によって離隔された複数のフィデューシャルオブジェクトを描写し、前記身体セグメントの前記表面を描写するカメラによってキャプチャされた２Ｄカメラ画像とを取得することと、
    前記連続した２Ｄカメラ画像内の前記複数のフィデューシャルオブジェクトの位置における相対変化の解析に基づいて、前記２Ｄカメラ画像のそれぞれのピクセルの３Ｄ座標、及び前記２Ｄ超音波画像のそれぞれのピクセルの３Ｄ座標を共通座標系で計算することと、
    前記２Ｄカメラ画像及び前記２Ｄ超音波画像の前記３Ｄ座標を集約することによって計算された前記共通座標系での３Ｄボクセルから３Ｄ画像を再構成することと、
    を含み、
    前記３Ｄ画像は前記身体セグメントの前記表面、及び前記患者の前記表面に対して位置している前記身体セグメント内の組織を描写し、
    前記再構成された３Ｄ画像は、少なくとも１つの再構成された３Ｄ画像を含む、前記コンピュータ実装方法。
23. ドップラー及びＢモードのうちの少なくとも１つを含む追加の情報層を備えた前記少なくとも１つの再構成された３Ｄ画像は、血管、臓器、関節、骨、軟骨、非血液充填腔、肝臓、胆嚢、甲状腺のうちの少なくとも１つを含む、いずれかの適合性のある超音波臓器スキャン手技で選択された組織を描写し、前記組織を１つの臓器全体または臓器の一部に融合する、請求項２２に記載のコンピュータ実装方法。
24. 前記フィデューシャルオブジェクトのサイズを使用することによって、及び／または慣性計測ユニット及び別のカメラからなる群から選択された他のセンサからの情報を追加することによって、前記世界座標系に対する実際のスケールに前記３Ｄ座標を補正することをさらに含む、請求項２２に記載のコンピュータ実装方法。
25. 前記共通座標系は、実世界距離及び位置を描写する実世界座標系であり、前記３Ｄ画像は、実世界座標での距離及び相対位置を使用して、前記身体セグメントの前記表面及び前記身体セグメント内の組織を描写する、請求項２２に記載のコンピュータ実装方法。
26. 前記共通座標系で計算することは、
    前記連続した２Ｄカメラ画像内の前記複数のフィデューシャルオブジェクトの位置における相対変化を解析することによって前記共通座標系に対するカメラ座標系での前記カメラの姿勢を計算し、前記フィデューシャルオブジェクトのサイズを使用することによって、及び／または慣性計測ユニット及び別のカメラからなる群から選択された他のセンサからの情報を追加することによって、前記世界座標系に対する実際のスケールに補正することと、
    前記体の前記表面を描写する前記２Ｄカメラ画像のピクセルを前記共通座標系内の３Ｄ座標にマッピングすることと、
    前記カメラ座標系に、超音波座標系で表された前記２Ｄ超音波画像のピクセルをマッピングするために較正変換を適用することであって、前記較正マッピングは前記カメラの前記姿勢と、前記２Ｄ超音波画像をキャプチャする超音波トランスデューサの姿勢との間の所定の関係に基づいている、前記適用することと、
    前記カメラ座標系で表された前記２Ｄ超音波画像の前記ピクセルを前記共通座標系内の３Ｄ座標にマッピングすることと、
    を含む、請求項２２に記載のコンピュータ実装方法。
27. 前記身体セグメントの共通領域で前記超音波画像及び前記カメラ画像を取得することを繰り返すことと、前記共通座標系で計算することを繰り返すこととをさらに含み、前記３Ｄ画像を再構成することを繰り返すことは、現在の繰り返しで計算された３Ｄボクセルによって以前の繰り返しの以前の３Ｄ画像を繰り返し更新して、前記以前の３Ｄ画像より高い解像度を有する更新された３Ｄ画像を取得することを含む、請求項２２に記載のコンピュータ実装方法。
28. 前記身体セグメントを描写する３Ｄ解剖学的画像を受信することであって、前記３Ｄ解剖学的画像は別の３Ｄ撮像モダリティデバイスによってキャプチャされる、前記受信することと、
    前記身体セグメントの前記表面から抽出された特徴に従って、前記３Ｄ解剖学的画像と前記再構成された３Ｄ画像との間でレジストレーションすることと、
    をさらに含む、請求項２２に記載のコンピュータ実装方法。
29. 対象の体表面に塗布するために、粘性材料内にランダムに分布し、ランダムな距離によって離隔された複数のフィデューシャルオブジェクトを含有する流体の少なくとも一部を含む前記粘性材料であって、前記複数のフィデューシャルオブジェクトは、２Ｄカメラ画像によって描写され、前記超音波トランスデューサの前記姿勢を推定するために使用された３Ｄボクセルを取得するための２Ｄ超音波画像のピクセルに割り当てられる３Ｄ座標の計算に使用されるための前記粘性材料に対するサイズ及びコントラストを有する、前記粘性材料。
30. 前記体の内部または前記患者の身体領域の前記表面のいずれか１つを描写する３Ｄ超音波画像の再構成を計算することをさらに可能にする、請求項２９に記載の粘性材料。
31. 前記粘性材料は超音波ゲルを含み、前記３Ｄ画像は、前記超音波ゲルを介して伝達された超音波エネルギーによってキャプチャされた２Ｄ超音波画像から再構成される、請求項２９に記載の粘性材料。
32. 前記複数のフィデューシャルオブジェクトは、前記超音波ゲルを介して伝達された前記２Ｄ超音波画像中に描写されないように選択された小さいサイズを有する、及び／またはそのように選択された音響材料から作られる、請求項３１に記載の粘性材料。
33. 前記複数のフィデューシャルオブジェクトは、前記粘性材料内の特異的な位置では固定されておらず、前記粘性材料の運動に応答して前記粘性材料内で流動する、請求項２９に記載の粘性材料。
34. 前記複数のフィデューシャルオブジェクトのそれぞれの前記サイズは、約０．５～１ミリメートルである、請求項２９に記載の粘性材料。
35. 前記複数のフィデューシャルオブジェクトは、紫外光に反応して視覚的に増強される材料で作られる、請求項２９に記載の粘性材料。
36. 前記複数のフィデューシャルオブジェクトは、蛍光材料で作られる、請求項２９に記載の粘性材料。
37. 前記複数のフィデューシャルオブジェクトは球形状である、請求項２９に記載の粘性材料。
38. 前記粘性材料内の前記複数のフィデューシャルオブジェクトの密度は、１ミリリットルあたり約１～１０００個である、請求項２９に記載の粘性材料。
39. 個体内の血管病態を治療する方法であって、
    ３Ｄでランダムに分布し、ランダムな距離によって離隔された複数のフィデューシャルオブジェクトを含有する流体の少なくとも一部を含む粘性材料を、個体の身体セグメントの表面の関心対象の血管に対応する位置に塗布することと、
    少なくとも１つのカメラを含むアドオンコンポーネントを備えた超音波トランスデューサのプローブを前記体の前記表面に沿って、前記体内の前記血管の超音波画像と、前記身体セグメントの前記表面を描写し、前記複数のフィデューシャルオブジェクトを描写するカメラ画像とを同時にキャプチャするように操作することと、
    実世界座標を表す共通３Ｄ座標系内に位置した前記血管及び前記身体セグメントの前記表面の３Ｄ画像の再構成を解析することと、
    前記身体セグメントの前記表面に対する前記血管の前記３Ｄ画像の前記再構成に基づいて前記血管病態を診断することと、
    開放手術及び／またはカテーテル手技中に前記血管病態を治療することと、
    を含む、前記方法。
40. 前記治療された血管病態を描写する前記血管の超音波画像を同時にキャプチャするように前記体の前記表面上で前記プローブを再操作し、前記超音波画像と前記プローブの前記再操作中にキャプチャされた前記カメラ画像とから作成された前記血管の別の３Ｄ再構成で前記治療された血管病態を解析し、前記別の３Ｄ再構成に基づいて別の治療手技を必要とすると前記治療された血管病態が決定される場合、前記治療された血管病態を再治療することをさらに含む、請求項３９に記載の方法。
41. 前記超音波トランスデューサを、前記血管病態に対応する前記表面の小領域内で前記超音波トランスデューサの軸方向及び／または長手方向の方位に繰り返し操作して、前記血管病態の複数の超音波画像を異なる角度及び距離でキャプチャすることをさらに含み、前記３Ｄ画像内の前記血管病態の解像度は、前記小領域上の前記超音波トランスデューサの操作数が増加するにつれて高まる、請求項３９に記載の方法。
42. 前記３Ｄ画像は組織型に従ってセグメント化され、前記３Ｄ画像の前記セグメント化を解析して前記血管治療の有効性を決定することをさらに含む、請求項３９に記載の方法。
43. 前記身体セグメントの前記表面に対する前記血管の前記３Ｄ画像の前記再構成に基づいて前記血管病態を診断することは、前記３Ｄ画像によって描写された前記血管の前記血流量にさらに基づいている、請求項３９に記載の方法。
44. 前記治療は、カテーテルによって送達されるステント、バルーン拡張、アブレーション、薬物注入、及び手技による切除及び／または修復からなる群から選択される、請求項３９に記載の方法。
45. 超音波伝達に対して固定した方位に位置したカメラによってキャプチャされたカメラ画像と、前記超音波トランスデューサによってキャプチャされた超音波画像とに適用された変換マッピングを較正するための較正デバイスであって、
    超音波透過性超音波検査用媒体を含む円形状頂面を有する単一区画、及び
    前記区画の前記円形状頂面の外側周囲長に外部から配置されたグランドトゥルースパターン、
    を含み、
    前記超音波トランスデューサが前記区画の頂部上に置かれる場合、前記カメラが前記グランドトゥルースパターンのカメラ画像をキャプチャし、前記超音波トランスデューサが前記区画の内側の超音波画像を、前記円形状頂面から底面までキャプチャするように、前記区画及び前記グランドトゥルースパターンは位置決めされる、前記較正デバイス。
46. 超音波プローブへのアドオンであって、
    超音波トランスデューサのプローブに接続するサイズ及び形状に作られたコネクタ構成要素、
    第一カメラを含む第一カメラハウジング、ならびに
    第二カメラを含む第二カメラハウジング、
    を備え、
    前記第一カメラハウジング及び前記第二カメラハウジングがそれぞれ前記コネクタ構成要素の長軸に対して所定の角度に置かれ、前記第一カメラ及び前記第二カメラを、前記超音波プローブに対して、そして前記超音波トランスデューサによってキャプチャされた超音波画像に対して、所定の角度で固定する、前記アドオン。
47. 人間工学に基づいたホルダー構成要素をさらに含み、前記ホルダー構成要素は、ユーザの手の手掌に対して保持されるように設計されたグリップ、及び前記ユーザの人差し指を支持するように設計されたリングまたはトリガ様要素をさらに含む、請求項４６に記載のアドオン。
48. 前記第一カメラハウジング及び前記第二カメラハウジングは、前記コネクタ構成要素の前記長軸に対して垂直である約９０度で分離される、請求項４６に記載のアドオンデバイス。