JP2012155723A - 三次元医療映像から最適の二次元医療映像を自動的に生成する方法及び装置 - Google Patents

Abstract

【課題】 三次元医療映像から最適の二次元医療映像を自動的に生成する方法及び装置を提供する。
【解決手段】 患者の身体部位を三次元的に示す三次元ボリュームの映像データから三次元ボリュームを横断する少なくとも１つの仮想平面を生成し、該仮想平面を利用し、身体部位の断面を示す少なくとも１つの二次元映像を生成し、少なくとも１つの二次元映像のうち患者の診断に最適の二次元映像を出力する三次元医療映像から最適の二次元医療映像を自動的に生成する方法及び装置である。
【選択図】 図２

Description

本発明は、三次元（３Ｄ）医療映像から最適の二次元（２Ｄ）医療映像を自動的に生成する方法及び装置に関する。

患者を診断するための多様な医療装備が使用されており、かつ開発されている。患者への診断過程での患者の便宜、患者への診断結果の迅速性などにより、ＣＴ（computed tomography）、ＭＲＩ（magnetic resonance imaging）などのように、人体内部断面の様子を映像として示す医療装備の重要性が認識されている。最近、医療装備の急速な発展により、人体内部断面を示す二次元映像を超え、三次元映像を出力する医療装備が登場している。

本発明は、三次元医療映像から患者の診断に最適である二次元医療映像を自動的に生成する方法及び装置を提供するところにある。

本発明はまた、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。

本実施例がなそうとする技術的課題は、前記のような技術的課題に限定されるものではなく、以下の実施形態から他の技術的課題が類推可能である。

本発明の一側面による二次元映像生成方法は、患者の身体部位を三次元的に示す三次元ボリュームの映像データを入力される段階、前記三次元ボリュームを横断する少なくとも１つの仮想平面を生成する段階、前記少なくとも１つの仮想平面に前記入力データを適用することによって、前記身体部位の断面を示す少なくとも１つの二次元映像を生成する段階、及び前記少なくとも１つの二次元映像のうち、目標特徴と最も類似した特徴を有する二次元映像を出力する段階を含む。

本発明の他の側面によって、前記の二次元映像生成方法を、コンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体が提供される。

本発明のさらに他の側面による二次元映像生成装置は、患者の身体部位を三次元的に示す三次元ボリュームの映像データを入力される入力部、前記三次元ボリュームを横断する少なくとも１つの仮想平面を生成し、前記少なくとも１つの仮想平面に、前記入力データを適用することによって、前記身体部位の断面を示す少なくとも１つの二次元映像を生成する映像プロセッサ、及び前記少なくとも１つの二次元映像のうち、目標特徴と最も類似した特徴を有する二次元映像を出力する出力部を含む。

本発明により、三次元超音波診断機のような三次元映像検出装置から出力された三次元映像から、患者の診断に最適の二次元映像を自動的に抽出して医療専門家に提供することができる。

本発明の一実施形態による患者診断システムの構成図である。 図１に図示された二次元映像生成装置の構成図である。 図２に図示された平面生成部での全域サーチ方式による仮想平面生成の様子を図示した図である。 図２に図示された平面生成部での全域サーチ方式による仮想平面生成の様子を図示した図である。 図２に図示された平面生成部での全域サーチ方式による仮想平面生成の様子を図示した図である。 図２に図示された平面生成部での全域サーチ方式による仮想平面の生成過程のフローチャートである。 図２に図示された平面生成部での任意サーチ方式による仮想平面の生成過程のフローチャートである。 図２に図示された平面生成部での任意サーチ方式による仮想平面の選定過程の一例を図示した図である。 図２に図示された平面生成部での主成分サーチ方式による仮想平面の生成過程のフローチャートである。 図２に図示された平面生成部での主成分分析を利用したサーチ方式による仮想平面生成の様子を図示した図である。 図２に図示された平面生成部での主成分分析を利用したサーチ方式による仮想平面生成の様子を図示した図である。 図２に図示された平面生成部での主成分ベクトル決定の様子を図示した図である。 図２に図示された平面生成部での主成分ベクトル決定の様子を図示した図である。 図２に図示された平面生成部での主成分ベクトル決定の様子を図示した図である。 図２に図示された二次元映像生成部での二次元映像を生成する過程のフローチャートである。 図２に図示された二次元映像生成部での二次元映像補間の様子を図示した図である。 図２に図示された映像特徴抽出部での映像特徴抽出過程のフローチャートである。 図２に図示された映像特徴抽出部によって分割される映像の一例を図示した図である。 図２に図示されたストレージのデータ保存形態を図示した図である。 図２に図示された目標特徴生成部の詳細構成図である。 図２に図示された最終映像決定部での最終映像決定過程のフローチャートである。 本発明の一実施形態による二次元映像生成方法のフローチャートである。

以下、図面を参照しつつ、本発明の実施形態について詳細に説明する。

図１は、本発明の一実施形態による患者診断システムの構成図である。図１を参照すれば、図１に図示された実施形態による患者診断システムは、三次元（３Ｄ）映像検出装置１０、二次元（２Ｄ）映像生成装置２０、及び映像表示装置３０から構成される。三次元映像検出装置１０は、これに装着されたプローブ（probe）１１から発せられたソース信号（source signal）が、医師のような医療専門家が診断しようとする患者身体の特定部位に伝達されることによって生じる反応を利用し、この部位を三次元的に示す三次元ボリューム（volume）の映像データを生成する。ここで、ソース信号は、超音波（ultrasound）、Ｘ線のようなさまざまな信号であってよい。三次元映像検出装置１０が、超音波を利用して、患者の身体から三次元映像を検出する超音波診断機（ultrasonography machine）である場合を例に挙げて説明すれば、次の通りである。

超音波診断機でのプローブ１１は、一般的に圧電変換器（piezoelectric transducer）によりなるものである。三次元映像検出装置１０のプローブ１１から、２〜１８ＭＨｚ範囲の超音波が、患者身体内部の特定部位に伝達されれば、この超音波は、さまざまな異なる組織（tissue）間の階層から部分的に反射される。特に、超音波は、身体内部での密度変化があるところ、例えば、血漿（blood plasma）内の血球（blood cell）、臓器（organ）内の小さい組織（structure）などで反射される。このように反射された超音波は、プローブ１１の圧電変換器を振動させ、圧電変換器は、これら振動による電気的パルス（electrical pulse）を出力する。かような電気的パルスが、映像に変換される。

三次元映像検出装置１０は、患者の身体上で、プローブ１１の位置（location）と方向（orientation）とを変化させつつ、患者身体の特定部位に係わる多数の断面映像を検出する。次に、三次元映像検出装置１０は、かような断面映像を蓄積し、患者身体の特定部位を三次元的に示す三次元ボリュームの映像データを生成する。このように、断面映像を蓄積し、三次元ボリュームの映像データを生成する方式をＭＰＲ（multiplanar reconstruction）方式という。以下で説明する実施形態の特徴は、三次元映像の生成に係わるものではなく、三次元映像から患者診断に最適化された二次元映像を得るところにある。従って、前述の三次元映像の生成過程は一例であり、多様な方式によって生成された三次元映像に、以下で説明する実施形態が適用される。

ところで、このように生成された三次元ボリュームの映像は、患者身体の少なくとも１つの部位が三次元的に表示されるために、三次元ボリューム内部に位置した臓器や組織などに係わる可視性に劣る。また、医師のような医療専門家は、三次元映像よりは、二次元映像を利用した診断に習熟している。これにより、三次元ボリュームの映像から、患者診断に最適の二次元映像を抽出することが要求される。ところで、三次元ボリュームから抽出される二次元映像の個数は無限大であるために、効果的に二次元映像がサーチされねばならず、ユーザの介入なしに、自動的に二次元映像が抽出されねばならない。以下で説明する実施形態は、三次元ボリュームの映像から、患者診断に最適の二次元映像を効果的に自動抽出する方法を提示する。

図２は、図１に図示された二次元映像生成装置２０の構成図である。図２を参照すれば、図１に図示された二次元映像生成装置２０は、入力部２１、映像プロセッサ２２、ストレージ２３、出力部２４、及びユーザ・インターフェース２５から構成される。入力部２１は、三次元映像検出装置１０から、患者の身体部位を三次元的に示す三次元ボリュームの映像データを入力され、これを映像プロセッサ２２に伝達する。出力部２４は、映像プロセッサ２２によって生成された患者の身体部位の断面を示す二次元映像を入力され、これを映像表示装置３０に出力する。入力部２１と出力部２４は、映像プロセッサ２２と三次元映像検出装置１０とを連結し、映像プロセッサ２２と映像表示装置３０とを連結するための１種のインターフェース（interface）である。ユーザ・インターフェース２５は、医療専門家らのようなユーザから、ある命令や情報を入力されるためのインターフェースである。ユーザ・インターフェース２５は、一般にキーボード、マウスのような入力装置であってもよいが、映像表示装置３０に表現されるグラフィック・ユーザ・インターフェース（ＧＵＩ：graphical user interface）でもよい。

映像プロセッサ２２は、入力部２１に入力された三次元ボリュームの映像データを処理することによって、三次元ボリュームを横断する二次元映像のうち、患者診断に最適の二次元映像を生成する。図２を参照すれば、映像プロセッサ２２は、平面生成部２２１、二次元映像生成部２２２、映像特徴抽出部２２３、目標特徴生成部２２４及び最終映像決定部２２５から構成される。映像プロセッサ２２は、前記のような構成要素の機能を遂行する転用チップ（chip）によって製作されてもよく、汎用ＣＰＵ（central processor unit）と、ストレージ２３に保存された転用プログラムとから具現されてもよい。

平面生成部２２１は、入力部２１に入力された三次元ボリュームの映像データに対し、三次元ボリュームを横断する三次元空間上の少なくとも１つの仮想平面を生成する。特に、平面生成部２２１は、三次元空間上で平面をサーチする所定の方式によって、三次元ボリュームを横断する少なくとも１つの仮想平面を生成する。三次元空間上で平面をサーチする所定方式の例としては、全域サーチ（full search）、任意サーチ（random walk）、主成分分析（ＰＣＡ：principal component analysis）を利用したサーチ、すなわち、主成分サーチなどを挙げることができる。平面をサーチする方式は、前記のような例に限定されるものではなく、多様な方式が適用される。

全域サーチは、三次元ボリュームを横断するあらゆる可能な平面を順次に生成しつつ、最終平面をサーチする方式をいう。任意サーチは、三次元ボリュームを横断する任意の候補平面（candidate planes）を生成し、これらを基に、候補平面の範囲を順次狭めつつ、最終平面をサーチする方式をいう。主成分サーチは、三次元ボリュームの映像データの主成分分析を利用し、三次元ボリュームを横断する初期平面を生成し、これを基に、最終平面をサーチする方式をいう。ここで、最終平面とは、三次元ボリュームを横断する平面のうち、患者の診断に最適の二次元映像が存在する平面を意味する。

平面生成部２２１が全域サーチ方式を利用し、仮想平面をサーチする一例を挙げれば、次の通りである。平面生成部２２１は、次の式（１）のような平面の方程式を利用し、三次元ボリュームを横断する平面の方程式を算出することによって、仮想平面を生成することができる。式（１）は、三次元空間上の点（ｉ_ｄ，ｊ_ｄ，ｋ_ｄ）を過ぎ、ベクトル（１，ｐ_ｄ，ｑ_ｄ）に垂直な平面の方程式である。平面生成部２２１は、式（１）において、傾き値ｐ_ｄ、ｑ_ｄと中心座標値ｉ_ｄ，ｊ_ｄ，ｋ_ｄとを順次に変更することによって、三次元ボリュームを横断するあらゆる可能な平面の方程式を順次に計算することができる。

図３Ａないし図３Ｃは、図２に図示された平面生成部２２１での全域サーチ方式による仮想平面生成の様子を図示した図である。特に、図３Ａは、式（１）において、他の係数値が固定された状態でｐｄ_が変化するとき、三次元空間上の点（ｉ_ｄ，ｊ_ｄ，ｋ_ｄ）を過ぎつつ、ｉｊ平面に垂直なベクトルを中心に、−９０°から９０°の範囲で回転する平面を示す。また、図３Ｂは、式（１）において、他の係数値が固定された状態でｑ_ｄが変化するとき、三次元空間上の点（ｉ_ｄ，ｊ_ｄ，ｋ_ｄ）を過ぎつつ、ｉｋ平面に垂直なベクトルを中心に、−９０°から９０°の範囲で回転する平面を示す。図３Ｃは、式（１）において、他の係数値が固定された状態でｉ_ｄが変化するとき、三次元空間上の点（ｉ_ｄ，ｊ_ｄ，ｋ_ｄ）を含む平面を示す。中心座標の他の係数ｊ_ｄ，ｋ_ｄが変化するときにも、図３Ｃに図示された平面と類似した方式で、三次元空間上の点（ｉ_ｄ，ｊ_ｄ，ｋ_ｄ）を含む平面が生成される。

図４は、図２に図示された平面生成部２２１での全域サーチ方式による仮想平面の生成過程のフローチャートである。図４を参照すれば、平面生成部２２１での全域サーチ方式による仮想平面の生成過程は、次のような段階から構成される。４１段階で、平面生成部２２１は、式（１）のような平面方程式の係数値のうちいずれか一つを一定単位ほど変更させる。例えば、平面生成部２２１は、式（１）のような平面の方程式の傾き値ｐ_ｄ，ｑ_ｄを、−９０°から９０°の範囲に該当する値の範囲内で、一定単位ｕ１ほど変更させ、中心座標値ｉ_ｄ，ｊ_ｄ，ｋ_ｄを三次元ボリュームの範囲内で、一定単位ｕ２ほど変更する。ここで、傾き値ｐ_ｄ，ｑ_ｄを一定単位ｕ１ほど変更させ、中心座標値ｉ_ｄ，ｊ_ｄ，ｋ_ｄを一定単位ｕ２ほど変更させるということは、傾き値ｐ_ｄ，ｑ_ｄを、ｕ１単位ほど増加あるいは減少させ、中心座標値ｉ_ｄ，ｊ_ｄ，ｋ_ｄを、ｕ２単位ほど増加あるいは減少させるということを意味する。

４２段階で、平面生成部２２１は、二次元映像生成部２２２に、４１段階で生成された平面方程式を出力する。４３段階で、平面生成部２２１は、最終映像決定部２２５から、追加平面の要請を示す信号が入力された場合、４１段階に戻る。もし最終映像決定部２２５から、追加平面の要請を示す信号が入力されない場合、すなわち、最終映像決定部２２５で最終映像が決定された場合には、全域サーチを終了する。４１段階に戻るたびに、式（１）のような平面の方程式の係数値を、回りつつ一つずつ一定単位ほど変更することによって、三次元ボリュームを横断するあらゆる可能な平面の方程式を順次に計算することができる。前記の単位ｕ１，ｕ２は、その値が小さいほど、さらに精密な平面が得られるが、映像プロセッサ２２の計算量が増加してしまう。従って、映像プロセッサ２２の性能を考慮し、単位ｕ１，ｕ２は、適切に決定されねばならない。

一方、平面生成部２２１が、前記のような方式で三次元ボリュームを横断するあらゆる可能な平面の方程式を計算することは、映像プロセッサ２２に多くの負担を与え、最適平面を見い出すまで長時間がかかる。従って、映像プロセッサ２２の負担を減らしつつ、平面のサーチ時間を短縮させるために、前記のような方式に、動的プログラミング（dynamic programming）、ツリー検索（tree search）のような既存のサーチ・アルゴリズムを適用することができることを、図２に図示された実施形態が属する技術分野で当業者であるならば、理解することができるであろう。

平面生成部２２１が、任意サーチ方式を利用し、仮想平面をサーチする一例を挙げれば、次の通りである。平面生成部２２１は、三次元ボリュームを横断する候補平面を生成し、このように生成された候補平面のうち一部候補平面を選定し、このように選定された一部候補平面の範囲内で、新しい候補平面を生成する過程を所定回数反復する。

図５は、図２に図示された平面生成部２２１での任意サーチ方式による仮想平面の生成過程のフローチャートである。図５を参照すれば、平面生成部２２１での任意サーチ方式による仮想平面の生成過程は、次のような段階から構成される。５１段階で、平面生成部２２１は、式（１）の係数値を任意に選定することによって、Ｎ個の候補平面を生成する。５２段階で、平面生成部２２１は、二次元映像生成部２２２に、５１段階で生成されたＮ個の候補平面を出力する。５３段階で、平面生成部２２１は、最終映像決定部２２５から、追加平面の要請を示す信号が入力された場合、５４段階に進む。もし最終映像決定部２２５から、追加平面の要請を示す信号が入力されない場合、すなわち、最終映像決定部２２５で最終映像が決定された場合には、任意サーチを終了する。

５４段階で、平面生成部２２１は、Ｎ個の候補平面のうち、最終映像決定部２２５から入力された情報が示す一部候補平面の係数値の範囲内で、さらに式（１）の係数値を任意に選定することによって、Ｎ個の候補平面を生成する。最終映像決定部２２５から、追加平面の要請を示す信号が入力された場合、この信号と共に、Ｎ個の候補平面のうち、目標特徴生成部２２４で生成された目標特徴と、５１段階または５４段階で生成された候補平面それぞれの特徴との類似度（similarity）がさらに高い一部候補平面の情報が入力される。５４段階で、Ｎ個の候補平面の生成が完了すれば、さらに５２段階に戻り、二次元映像生成部２２２に、５４段階で生成されたＮ個の候補平面を出力する。映像プロセッサ２２は、前記のような５２段階ないし５４段階を所定回数ほど、例えば２、３回反復遂行した後、Ｎ個の候補平面のうち、最も高い類似度を有する平面を最終平面として決定する。

図６は、図２に図示された平面生成部２２１での任意サーチ方式による仮想平面の選定過程の一例を図示した図である。図６に図示されたグラフで、１つの軸は、任意サーチ方式によるサーチ時間を示し、他の軸は、候補平面の類似度を示す。図６に図示されているように、平面生成部２２１は、一回に４個の候補平面を生成する。映像プロセッサ２２は、前記のような４２段階ないし４４段階を３回反復した後で選定された４個の候補平面、すなわち、図６のドット（dot）で表示された候補平面のうち、最も高い類似度を有する平面を最終平面として決定する。

図６に図示された任意サーチ方式によれば、まず、式（１）の係数値を任意に選定することによって、三角形で表示された４個の候補平面を生成する。次に、三角形で表示された４個の候補平面のうち類似度が高い２個の平面の係数値の範囲を抽出する。この範囲は、図６に図示されたサーチ時間範囲Ｔ１−Ｔ２の間にサーチされた平面が有する係数値の範囲に該当する。次に、このように抽出された係数値の範囲内で、さらに式（１）の係数値を任意に選定することによって、四角形で表示された４個の候補平面を生成する。次に、四角形で表示された４個の候補平面のうち、類似度が高い２個の平面の係数値の範囲を抽出する。この範囲は、図６に図示されたサーチ時間範囲Ｔ３−Ｔ４の間にサーチされた平面が有する係数値の範囲に該当する。かような過程を反復し、図６のドットで表示された候補平面のうち、最も高い類似度を有する平面を最終平面として決定する。

図６に図示されたグラフは、１次サーチ過程、２次サーチ過程、３次サーチ過程を含む多数のサーチ過程の間にサーチされた候補平面の類似度を基準に、あらゆる平面の類似度を推定して図示したものである。特に、Ｔ３−Ｔ４区間は、時間的にＴ１−Ｔ２区間以後に位置するが、まずサーチされた平面が有する係数値の範囲内で、次のサーチがなされるために、Ｔ１−Ｔ２区間内に、Ｔ３−Ｔ４区間を表示した。また、図６では、まずサーチされた４個の候補平面のうち、類似度が高い２個の候補平面が、次のサーチ過程での候補平面として再び選定されたが、これは、１つの一例であるだけであり、以前のサーチ過程で決定された係数値の範囲内で、他の方式で選定することもできる。

平面生成部２２１が、主成分分析方式を利用し、仮想平面をサーチする一例を挙げれば、次の通りである。平面生成部２２１は、入力部２１に入力された三次元ボリュームの映像データの主成分分析を利用し、三次元空間での三次元ボリュームの映像データの変化形態によって、少なくとも１つの仮想平面を生成する。さらに詳細に説明すれば、平面生成部２２１は、入力部２１に入力された三次元ボリュームの映像データの主成分分析を行うことによって、三次元空間で、三次元ボリュームの映像データの変化が最も大きい方向の軸に該当する第１主成分ベクトルを計算し、このように計算された第１主成分ベクトルを基に、少なくとも１つの仮想平面を生成する。

例えば、平面生成部２２１は、三次元ボリュームの映像データの主成分分析を介して、第１主成分ベクトルと第２主成分ベクトルとが決定されれば、第１主成分ベクトルと第２主成分ベクトルとから構成された平面を計算することができる。ここで、第２主成分ベクトルは、三次元空間で、三次元ボリュームの映像データの変化が二番目に大きい方向の軸を意味する。主成分ベクトルはそれぞれ、三次元空間でのいずれか１つの方向の軸を意味するために、２つの主成分ベクトルによって、１つの平面が特定される。この平面が、主成分分析による三次元ボリュームの映像データの変化が最も大きい平面に該当するが、主成分分析は、一種の統計的分析方式であるために、完全に正確ではない。かような点を考慮し、平面生成部２２１は、第１主成分ベクトル、第２主成分ベクトル以外の主成分ベクトルを計算し、３個以上の主成分ベクトルの組み合わせから多数の平面を生成していく方式で、最終平面をサーチすることもできる。

図７は、図２に図示された平面生成部２２１での主成分サーチ方式による仮想平面の生成過程のフローチャートである。図７を参照すれば、平面生成部２２１での主成分サーチ方式による仮想平面の生成過程は、次のような段階から構成される。７１段階で、平面生成部２２１は、入力部２１に入力された三次元ボリュームの映像データの主成分分析を行うことによって、第１主成分ベクトル、第２主成分ベクトル及び第３主成分ベクトルを計算する。ここで、第３主成分ベクトルは、三次元空間で、三次元ボリュームの映像データの変化が三番目に大きい方向の軸を意味する。７２段階で、平面生成部２２１は、１主成分ベクトル、第２主成分ベクトル及び第３主成分ベクトルの組み合わせから、いずれか１つの平面方程式を計算する。７３段階で、平面生成部２２１は、二次元映像生成部２２２に、７２段階で生成された平面方程式を出力する。７４段階で、平面生成部２２１は、最終映像決定部２２５から、追加平面の要請を示す信号が入力された場合、７２段階に戻る。もし最終映像決定部２２５から、追加平面の要請を示す信号が入力されない場合、すなわち、最終映像決定部２２５で最終映像が決定された場合には、主成分サーチを終了する。

７２段階で、平面生成部２２１は、まず、第１主成分ベクトルと第２主成分ベクトルとから構成された平面を計算する。７２段階に戻るたびに、平面生成部２２１は、第１主成分ベクトルと第２主成分ベクトルとから構成された平面を、第３主成分ベクトルの方向に平行に移動させることによって、追加的な平面を計算することができる。さらに、その後７２段階に戻るとき、平面生成部２２１は、第１主成分ベクトルと第３主成分ベクトルとから構成された平面を計算する。その後７２段階に戻るたびに、平面生成部２２１は、第１主成分ベクトルと第３主成分ベクトルとから構成された平面を、第２主成分ベクトルの方向に平行に移動させることによって、追加的な平面を計算することができる。あるいは、７２段階に戻るとき、平面生成部２２１は、第２主成分ベクトルと第３主成分ベクトルとから構成された平面を計算することもできる。その後７２段階に戻るたびに、平面生成部２２１は、第２主成分ベクトルと第３主成分ベクトルとから構成された平面を、第１主成分ベクトルの方向に平行に移動させることによって、追加的な平面を計算することができる。あるいは、７２段階に戻るたびに、平面生成部２２１は、第１主成分ベクトルを含む任意の平面を、第１主成分ベクトルを中心に回転させることによって、追加的な平面を計算することもできる。

図８Ａ及び図８Ｂは、図２に図示された平面生成部２２１での主成分分析を利用したサーチ方式による仮想平面生成の様子を図示した図である。図８Ａに図示された平面のうち手前の平面は、第１主成分ベクトルと第２主成分ベクトルとから構成された平面を示す。残りの平面は、第１主成分ベクトルと第２主成分ベクトルとから構成された平面を、第３主成分ベクトルの方向に平行に移動させることによって、生成された平面を示す。図８Ｂに図示された平面のうち手前の平面は、第１主成分ベクトルと第３主成分ベクトルとから構成された平面を示す。残りの平面は、第１主成分ベクトルと第３主成分ベクトルとから構成された平面を、第２主成分ベクトルの方向に平行に移動させることによって、生成された平面を示す。主成分分析を利用した他のサーチ方式も、これと類似して仮想平面の生成がなされるということが分かる。

一方、平面生成部２２１は、入力部２１に入力された三次元ボリュームの映像データの二次元主成分分析（２−dimensional ＰＣＡ）を利用し、三次元空間での三次元ボリュームの映像データの変化形態によって、少なくとも１つの仮想平面を生成することもできる。さらに詳細に説明すれば、平面生成部２２１は、入力部２１に入力された三次元ボリュームの映像データの二次元主成分分析を行うことによって、三次元空間で、三次元ボリュームの映像データの変化が最も大きい平面を計算し、このように計算された平面を基に、少なくとも１つの仮想平面を生成する。三次元ボリュームの映像データの変化が最も大きい平面を最終平面とすることもでき、その平面をある方向、例えば、その平面の垂直方向に移動させることによって、追加的な平面を生成することもできる。

前記のように、三次元映像検出装置１０は、プローブ１１によって検出されたパルスから変換された多数の断面映像を蓄積し、患者身体の特定部位を三次元的に示す三次元ボリュームの映像データを生成する。プローブ１１によって検出されたパルスは、ピクセルの明度値によってマッピングされるために、多数の断面映像は、白黒映像である。従って、三次元映像検出装置１０によって生成された三次元ボリュームの映像データは、三次元白黒映像であり、三次元座標系で、患者身体の特定部位を構成する座標点の明度値によって構成される。二次元空間で映像情報を有する点は、ピクセルと呼ばれ、三次元空間で映像情報を有する点は、ボクセル（voxel）と呼ばれる。ただし、三次元映像検出装置１０から、三次元空間でのカラー映像が出力されるならば、入力部２１に入力された三次元ボリュームの映像データは、三次元座標系での座標点の明度値以外に、カラー値で構成することもできる。

図９Ａないし図９Ｃは、図２に図示された平面生成部２２１での主成分ベクトル決定の様子を図示した図である。図９Ａを参照すれば、平面生成部２２１は、入力部２１に入力された三次元ボリュームの映像データのボクセル値に基づいて、三次元ボリュームに含まれるマス（mass）を検出し、三次元空間でのこのマスを構成する点の分布から、主成分ベクトルを計算することができる。ここで、マスは、入力部２１に入力された映像データが示す三次元ボリュームに含まれるある客体（object）を意味する。三次元ボリュームがあるマスを含む場合、一般的に、そのマスの境界部分で、ボクセル値が大きく変化する。ただし、身体組織（anatomical tissue）は、均質（homogeneous）ではなく、これら境界は、映像内で明確に定義されない場合がほとんどである。また、医療専門家が診断しようとする特定組織の形態や映像特性についての情報が要求されることもある。

三次元の医療映像から、マスを分割（segment）する方法には、レベルセット方法（level set method）などさまざまな方法が存在する。例えば、平面生成部２２１は、レベルセット方法を利用し、入力部２１に入力された三次元ボリュームの映像データのボクセル値に基づいて、三次元ボリュームに含まれるマスを分割することができる。レベルセット方法を利用した三次元医療映像の分割については、さまざまな資料に詳細に記述されている。例えば、２０００年に発表された“Robust Adaptive Segmentation of ３Ｄ Medical Images with Level Sets”（Ｃ．Baillard，Ｃ．Barillot，Ｐ．Bouthemy著）に詳細に記述されている。

また、図９Ｂを参照すれば、平面生成部２２１は、入力部２１に入力された三次元ボリュームの映像データのボクセル値に基づいて、このボクセルのうち医療専門家が診断しようとする特定組織の形態や映像特性などの特徴を有する点を決定し、三次元空間でのこれら分布から、主成分ベクトルを計算することもできる。この方式は、主に三次元医療映像内にマスとして考慮されるボクセル集合が存在しない場合に適用される。一方、平面生成部２２１は、前記のマス分割方法を試みた後、その結果によって、この方式によって、主成分ベクトルの計算を行うことができる。ただし、平面生成部２２１は、この方式だけを利用し、主成分ベクトルの計算を行うこともできる。

図９Ｃを参照すれば、平面生成部２２１は、入力部２１に入力された三次元ボリュームの映像データのボクセルのうち、いずれか１つのボクセルを中心とする一定サイズのボクセル集合を利用し、このボクセルの特徴を計算することができる。図９Ｃには、いずれか１つのボクセルを中心とする２７個のボクセルから構成された正六面体状のボクセル集合が図示されている。例えば、平面生成部２２１は、このボクセル集合を構成するボクセルの明度値の平均を、このボクセル集合の中心ボクセルの特徴とすることができる。また、平面生成部２２１は、このボクセル集合を構成するボクセルの明度値の分散を、このボクセル集合の中心ボクセルの特徴とすることもできる。

一方、時間ドメイン（domain）のボクセルの明度値は、ＤＣＴ（discrete cosine transform）などを介して、周波数ドメインのボクセルの係数値、すなわち、ボクセルの周波数値に変換することもできる。映像内部の明度変化など映像変化が激しい地点に位置したボクセルの周波数は高く、映像変化のほとんどない地点に位置したボクセルの周波数は、低く示される。従って、平面生成部２２１は、各ボクセルの周波数値を、そのボクセルの特徴とすることもできる。さらに、平面生成部２２１は、各ボクセルの平均、分散、周波数の組み合わせから、そのボクセルの特徴とすることもできる。ボクセルの平均、分散、周波数それぞれには、互いに異なる加重値が適用されてもよい。

入力部２１に入力された三次元ボリュームの映像データのボクセル値に基づいて、このボクセルのうち、医療専門家が診断しようとする特定組織の形態や映像特性などの特徴を有する点を決定し、三次元空間でのこれら分布から、主成分ベクトルを計算することもできる。この方式は、主に三次元医療映像内でマスとして考慮することができるボクセル集合が存在しない場合に適用される。一方、平面生成部２２１は、前記のマス分割方法を試みた後、その結果によって、この方式によって、主成分ベクトルの計算を行うことができる。ただし、平面生成部２２１は、この方式だけを利用し、主成分ベクトルの計算を行うこともできる。

入力部２１に入力された三次元ボリュームの映像データの主成分分析は、共分散行列（covariance matrix）、特異値分解（singular value decomposition）など多様な技法を利用して行われてもよい。以下では、平面生成部２２１が共分散行列を利用して主成分分析を行う過程について述べる。ただし、図２に図示された実施形態が属する技術分野で当業者であるならば、平面生成部２２１が共分散以外に、他の技法を利用して主成分分析を行うことができるということを理解することができるであろう。例えば、入力部２１に入力された映像データのボクセルそれぞれの特徴によって、ボクセルそれぞれに互いに異なる加重値を付与し、主成分分析を行うこともできる。これは、一般的に加重ＰＣＡ（weighted ＰＣＡ）と呼ばれる。

まず、平面生成部２２１は、次の式（２）を利用し、入力部２１に入力された映像データの平均を計算する。式（２）でＸ［ｍ，ｎ］は、入力部２１に入力された映像データのＭｘＮ行列を意味し、カラムごとのベクトルに該当する。ｍは、１からＭまでの値であり、Ｍは、入力部２１に入力された映像データの次元（dimension）を意味し、ｎは、１からＮまでの値であり、Ｎは、データの個数を意味する。

すなわち、式（２）でＭは、マスを構成する点の三次元座標値または特徴点の座標値のタイプ、すなわち、ｉ値、ｊ値、ｋ値それぞれに対応し、Ｎは、マスを構成する点の三次元座標値または特徴点の座標値の個数、すなわち、ｉ値、ｊ値、ｋ値の個数に対応する。次に、平面生成部２２１は、次の式（３）を利用し、式（１）の結果値、すなわち、入力部２１に入力された映像データの平均から、共分散行列を計算する。式（３）でＥは、期待値演算子（expected value operator）であり、ｘに円表示（circle mark）がなされているのは、外的演算子（outer product operator）であり、＊は、共役転置演算子（conjugate transpose operator）である。また、行列Ｕは、式（１）の結果値に、あらゆる値が１である１ＸＮ列行列（row matrix）を乗じたＭｘＮ行列である。

次に、平面生成部２２１は、次の式（４）を利用し、式（３）の結果値、すなわち、共分散行列を対角化（diagonalize）する固有ベクトル（eigenvector）の行列Ｖを計算する。式（３）で行列Ｄは、行列Ｃの固有値（eigenvalue）の対角行列（diagonal matrix）である。次に、平面生成部２２１は、行列Ｖと行列Ｄとのカラムを、固有値が減少する順序に整列する。ここで、行列Ｖのカラムベクトル、すなわち、固有ベクトルのうち最も大きい固有値を有する固有ベクトルが、第１主成分ベクトルになり、二番目に大きい固有値を有する固有ベクトルが、第２主成分ベクトルになり、三番目に大きい固有値を有する固有ベクトルが、第３主成分ベクトルとなる。

二次元映像生成部２２２は、平面生成部２２１によって生成された少なくとも１つの仮想平面に、入力部２１に入力された三次元ボリュームの映像データを適用することによって、患者の身体部位の断面を示す少なくとも１つの二次元映像を生成する。さらに詳細に説明すれば、二次元映像生成部２２２は、入力部２１に入力された三次元ボリュームの映像データのボクセルのうち、平面生成部２２１によって生成された仮想平面に交差するボクセル値を利用し、患者の身体部位の断面を示す二次元映像を生成することができる。以下では、仮想平面に交差するボクセル値を利用し、二次元映像を生成する過程について詳細に説明する。

図１０は、図２に図示された二次元映像生成部２２２での二次元映像を生成する過程のフローチャートである。図１０を参照すれば、二次元映像生成部２２２での二次元映像を生成する過程は、次のような段階から構成される。１０１段階で、二次元映像生成部２２２は、入力部２１に入力された三次元ボリュームの映像データのボクセルのうち、平面生成部２２１で生成された仮想平面に交差するボクセルを抽出する。入力部２１に入力された三次元ボリュームの映像データのボクセルのうち、平面生成部２２１で生成された仮想平面に存在するボクセルだけでは、医療専門家が診断するのに十分な映像が表現されるものではない。これにより、１０２段階で、二次元映像生成部２２２は、入力部２１に入力された三次元ボリュームの映像データのボクセル値を利用し、平面生成部２２１で生成された仮想平面のピクセルから、１０１段階で抽出されたボクセルに該当するピクセルを除外した残りのピクセルを補間（interpolate）する。かような補間を介して、医療専門家が診断するのに十分な解像度を有する映像が提供される。前述のように、入力部２１に入力された三次元ボリュームの映像が白黒映像であるならば、ボクセル値は、明度値になってもよい。１０３段階で、二次元映像生成部２２２は、１０１段階で抽出されたボクセル値と、１０２段階で補間されたピクセル値とを併合（merge）することにより、１つの二次元映像を生成し、これを映像特徴抽出部２２３に出力する。

図１１の（Ａ）及び（Ｂ）は、図２に図示された二次元映像生成部２２２での二次元映像補間の様子を図示した図である。図１１の（Ａ）及び（Ｂ）に図示された補間方式は、３線型補間（trilinear interpolation）である。これは１つの例示であり、本実施形態が属する技術分野で当業者であるならば、他の補間方式が利用されるということを理解することができるであろう。図１１（Ａ）を参照すれば、二次元映像生成部２２２が、平面生成部２２１で生成された仮想平面上の補間ピクセルＣの値を計算するためには、補間ピクセルＣを中心とする六面体の頂点値、すなわち、Ｃ_０００、Ｃ_１００、Ｃ_０１０、Ｃ_１１０、Ｃ_００１、Ｃ_１０１、Ｃ_０１１、Ｃ_１１１の値が要求される。図１１（Ｂ）を参照すれば、二次元映像生成部２２２は、Ｃ_０００とＣ_１００との間の線形補間（linear interpolation）を行うことによって、Ｃ_００の値を獲得し、Ｃ_００１とＣ_１０１との間の線形補間を行うことによって、Ｃ_０１の値を獲得し、Ｃ_０１１とＣ_１１１との間の線形補間を行うことによって、Ｃ_１１の値を獲得し、Ｃ_０１０とＣ_１１０との間の線形補間を行うことによって、Ｃ_１０の値を獲得することができる。次に、二次元映像生成部２２２は、Ｃ_００とＣ_１０との間の線形補間を行うことによって、Ｃ_０の値を獲得し、Ｃ_０１とＣ_１１との間の線形補間を行うことによって、Ｃ_１の値を獲得することができる。最後に、二次元映像生成部２２２は、Ｃ_０とＣ_１との間の線形補間を行うことによって、Ｃの値を獲得することができる。

映像特徴抽出部２２３は、二次元映像生成部２２２によって生成された二次元映像を構成するピクセルの値を利用し、該二次元映像の特徴を計算することによって、該二次元映像から、該二次元映像の特徴を抽出する。医療映像は、自然映像とは異なり、超音波映像、ＣＴ（computed tomography）映像、ＭＲＩ（magnetic resonance imaging）映像、ＰＥＴ（positron emission tomography）映像などの映像の種類（modality）、または医療専門家が診断しようとする病変（lesion）の種類によって、同じ二次元映像から異なる特徴を抽出することもできる。映像特徴抽出部２２３は、ユーザ・インターフェース２５を介して、医療専門家からかような映像の種類、病変の種類などについての情報を入力され、その情報によって、二次元映像の特徴を抽出することができる。あるいは、映像特徴抽出部２２３は、ストレージ２３に保存された映像の種類、病変の種類などについての情報によって、二次元映像の特徴を抽出することもできる。

一方、医療映像は、医療映像の種類、病変の種類などによって、医療専門家に重要な意味を有する領域と、単色の背景とから構成された特徴を有する。従って、医療映像から、かような領域が分離し、この領域の特徴を抽出することによって、さらに正確であって効率的に、二次元映像の特徴が抽出される。さらに詳細に説明すれば、映像特徴抽出部２２３は、医療専門家から入力されたりストレージ２３に保存された映像の種類、病変の種類などによって、二次元映像を構成するピクセルの値に基づいて、該二次元映像を分割し、その分割領域を構成するピクセルの値を利用し、その分割領域の特徴を計算することによって、二次元映像の特徴を抽出する。以下では、映像特徴抽出部２２３で、二次元映像の特徴を抽出する過程について詳細に説明する。

図１２は、図２に図示された映像特徴抽出部２２３での映像特徴抽出過程のフローチャートである。図１２を参照すれば、映像特徴抽出部２２３での映像特徴抽出過程は、次のような段階から構成される。１２１段階で、映像特徴抽出部２２３は、二次元映像生成部２２２によって生成された二次元映像を構成するピクセルの値に基づいて、二次元映像生成部２２２によって生成された二次元映像で、少なくとも１つのＲＯＩ（region of interest）領域を検出する。ＲＯＩは、主に医療映像に使われてきた。ＲＯＩ領域の検出については、さまざまな資料に詳細に記述されている。例えば、２００７年に発表された“ＲＯＩ−based Medical Image Retrieval Method using Human Perceptio nand ＭＰＥＧ−７ Visual Descriptor”（Mi-Suk Seo，Byoung-Chul Ko，Yoo-Ek Son，Hee-Jun Park，Jae-Yeal Nam著）に詳細に記述されている。この論文に記載された検出方式によれば、映像特徴抽出部２２３は、二次元映像生成部２２２によって生成された二次元映像を構成するピクセルの値に係わる人間の視覚的特徴を利用し、二次元映像生成部２２２によって生成された二次元映像で、少なくとも１つのＲＯＩ領域を検出することができる。

１２２段階で、映像特徴抽出部２２３は、１２１段階で検出されたＲＯＩ領域を基に、二次元映像生成部２２２によって生成された二次元映像を分割する。映像分割（image segmentation）は、コンピュータ・ビジョン（computer vision）分野で周知の技術であり、ある視覚的特性（visual characteristics）を共有するピクセルが同じラベル（label）を有するように、映像内の各ピクセルに、ラベルを割り当てる過程である。同一であるか、あるいは類似のラベルを有するピクセルの集合が、１つの分割領域になる。映像特徴抽出部２２３は、１２１段階で検出されたＲＯＩ領域内で、医療専門家から入力されたり、あるいはストレージ２３に保存された映像の種類、病変の種類などによって決定される視覚的特性を共有する値を有するピクセルが同じラベルを有するように、映像内の各ピクセルにラベルを割り当てる。例えば、病変の種類が癌である場合に、その視覚的特性は、非常に暗い明度値になる。映像分割については、さまざまな資料に詳細に記述されている。例えば、２０００年に発表された“Current Methods in Medical Image Segmentation”（Dzung Ｌ．Pham，Chenyang Xu and Jerry Ｌ．Prince著）に詳細に記述されている。

図１３の（Ａ）ないし（Ｃ）は、図２に図示された映像特徴抽出部２２３によって分割された映像の一例を図示した図である。図１３（Ａ）は、二次元映像生成部２２２から出力された二次元映像の例である。図１３（Ｂ）は、映像特徴抽出部２２３によって検出されたＲＯＩ領域の例である。図１３（Ｃ）は、映像特徴抽出部２２３によって分割された領域の例である。図１３の（Ａ）ないし（Ｃ）に図示されているように、一般的にＲＯＩ領域は、医療的な意味を有する領域の境界が粗く表現される一方、分割領域は、詳細に表現される。代わりに、ＲＯＩ領域の検出のための計算量は、映像分割のための計算量より少ない。従って、図１２に図示された実施形態では、効率的に映像を分割するために、いったん二次元映像についてＲＯＩ領域を検出した後、これを基に分割領域を生成した。一方、１２２段階で、映像特徴抽出部２２３は、１２１段階でのＲＯＩ領域検出段階を省略し、直ちに二次元映像生成部２２２によって生成された二次元映像を分割することもできる。

１２３段階で、映像特徴抽出部２２３は、１２２段階で分割された領域を構成するピクセルの値を利用し、この分割領域の特徴を計算する。あるいは、映像特徴抽出部２２３は、１２１段階で検出されたＲＯＩ領域を構成するピクセルの値を利用し、このＲＯＩ領域の特徴を計算することもできる。ただし、ＲＯＩ領域は、医療的な意味を有する領域の境界が粗く表現されるために、ＲＯＩ領域の特徴は、分割領域の特徴より医療的な意味を有する領域を示すにあたり、多少正確性が落ちるとも言える。例えば、二次元医療映像の特徴として、次のような値が使われてもよい。二次元医療映像の特徴は、形態的特徴（morphological feature）と質感的特徴（texture feature）とに区分される。形態的特徴は、病変領域の様子、サイズ、屈曲などの形態情報を表現することができる値を言い、１２１段階または１２２段階で生成された領域の屈曲の数、対称度などを使うことができる。質感的特徴は、病変領域の質感情報を表現することができる値であり、その領域の平均値、分散値、周波数値などが使われてもよい。

例えば、映像特徴抽出部２２３は、１２２段階で分割された領域または１２１段階で検出されたＲＯＩ領域のピクセルの明度値の差に基づいて、この領域の屈曲の数または対称度を計算することができる。また、映像特徴抽出部２２３は、１２２段階で分割された領域または１２１段階で検出されたＲＯＩ領域を構成するピクセルの値の平均、分散を計算することによって、この領域の平均、分散を計算することができる。また、映像特徴抽出部２２３は、ＤＣＴを利用し、１２２段階で分割された領域または１２１段階で検出されたＲＯＩ領域のピクセルの時間ドメインの値を、周波数ドメインの値に変換することによって、そのピクセルそれぞれの周波数値を計算し、それらを合算することによって、その領域の周波数値を計算することができる。二次元映像の特徴は、一次元行列形態の特徴ベクトル（feature vector）によって定義される。例えば、１２２段階で分割された領域または１２１段階で検出されたＲＯＩ領域の特徴ベクトルは、前記の計算値を成分とする一次元行列、すなわち、平均、分散、周波数値、屈曲の数、対称度の一次元行列によって示すことができる。

１２２段階で分割された領域または１２１段階で検出されたＲＯＩ領域は、いくつか存在しうる。その場合、映像特徴抽出部２２３は、複数個の領域の特徴ベクトルを計算し、その特徴ベクトルの組み合わせから、二次元映像生成部２２２から出力された二次元映像の特徴ベクトルを決定することができる。例えば、映像特徴抽出部２２３は、複数個の領域の位置によって、複数個の領域の特徴ベクトルを併合し、このように併合されたベクトルを、二次元映像の特徴ベクトルとすることができる。一例として、二次元映像で、右側に位置した領域の特徴ベクトルから、全体特徴ベクトルの前に位置するように併合されてもよい。あるいは、映像特徴抽出部２２３は、複数個の領域の特徴ベクトルを合わせ、このように合算されたベクトルを、二次元映像の特徴ベクトルとすることもでき、複数個の領域の特徴ベクトルのうち最も大きい値を有するベクトルを、二次元映像の特徴ベクトルとすることもできる。

図１４は、図２に図示されたストレージ２３のデータ保存形態を図示した図である。図１４を参照すれば、ストレージ２３には、多数の三次元映像と、多数の二次元映像の特徴とが一対一に互いにマッピングされて保存されている。医療専門家がある三次元映像、すなわち、入力部２１に入力された三次元ボリュームの映像から生成された二次元映像のうち、患者の診断に最適の二次元映像を選択した場合、その三次元映像と二次元映像の特徴は、互いにマッピングされ、ストレージ２３に保存される。患者の診断に最適の二次元医療映像の特徴、すなわち、目標特徴は、医療専門家が診断しようとする病変の種類などの医療専門家の意思（opinion）によって変わる。ストレージ２３には、医療専門家の意思が反映されている三次元映像と二次元映像の特徴とのマッピング情報が、図１４に図示されているような形態で保存される。ストレージ２３に保存された二次元映像の特徴を利用し、ストレージ２３に対して、これに対応する三次元映像をサーチすることもできる。あるいは、ストレージ２３に保存された三次元映像に対応する二次元映像の特徴をサーチすることもでき、この特徴を有する二次元映像をサーチすることもできる。二次元映像のサーチのためにストレージ２３に、ある特徴と共に、その特徴を有する二次元映像が共に保存されもする。

目標特徴生成部２２４は、ストレージ２３に保存された多数の三次元映像と、多数の二次元映像の特徴とのマッピングに基づいて、入力部２１に入力された三次元ボリューム映像に対応する二次元映像の目標特徴を生成する。特に、目標特徴生成部２２４は、ストレージ２３に保存された多数の三次元映像と、多数の二次元映像の特徴とのマッピングに基づいて、三次元映像と二次元映像の特徴との関係を示すモデル（model）を学習させ、このように学習されたモデルを利用し、入力部２１に入力された三次元ボリューム映像に対応する二次元映像の目標特徴を生成する。入力と出力との複雑な関係をモデリングするにおいては、神経回路網（neural network）が広く使われている。以下では、神経回路網を利用して二次元映像の目標特徴を生成する過程について詳細に説明する。一方、神経回路網は、二次元映像の目標特徴生成以外に、入力部２１に入力された三次元ボリューム映像に対応する映像の種類、病変の種類などについての情報を得ることにも使われる。三次元ボリューム映像に対応する映像の種類、病変の種類などは、それまでの医療専門家の選択情報によって学習される。前述のように、かような情報は、ストレージ２３に保存され、映像特徴抽出部２２３によって使われてもよい。ただし、以下で記述される実施形態が属する技術分野で当業者であるならば、神経回路網以外の他種の数学的モデルを利用できることを理解することができるであろう。

図１５は、図２に図示された目標特徴生成部２２４の詳細構成図である。図１５を参照すれば、図２に図示された目標特徴生成部２２４は、神経回路網１５１、学習部１５２及び特徴決定部１５３から構成される。神経回路網１５１は、入力層（input layer）と出力層（output layer)との間に、少なくとも１層以上の中間層(隠匿層；hidden layer)が存在する層構造を有する。神経回路網１５１での隠匿層は、入力と出力との複雑な関係を示す加重値の関数である。神経回路網１５１の入力層と出力層とに、入力データと出力データとを印加すれば、隠匿層の加重値が調節され、神経回路網１５１の学習がなされる。このように学習が完了した神経回路網１５１の入力層に、あるデータが入力されれば、神経回路網１５１の出力層から、これまでの学習を介して、予想される出力データが出力される。

学習部１５２は、神経回路網１５１の入力層に、１つの三次元映像を入力し、神経回路網１５１の出力層に、この三次元映像にマッピングされている二次元映像の特徴を入力することによって、神経回路網を学習させる。学習部１５２は、ストレージ２３に保存された三次元映像と二次元映像の特徴とのいずれについても、前記の学習過程を反復する。一般的に、神経回路網を利用した製品の場合、学習が完了した神経回路網を利用するために、学習部１５２は、図２に図示された実施形態の生産工程段階でのみに適用することができる。ただし、入力部２１に、現在入力された三次元映像と、最終映像として決定された二次元映像の特徴とのマッピング情報も、神経回路網１５１の学習に利用されてもよい。

特徴決定部１５３が、神経回路網１５１に、入力部２１に現在入力された三次元映像を入力すれば、神経回路網１５１は、これまでの学習された情報を基に、現在入力された三次元映像に対応する二次元映像の特徴を出力する。特徴決定部１５３は、神経回路網１５１から出力された特徴を、二次元映像の目標特徴として決定する。ここで、神経回路網１５１に入力された三次元映像は、三次元ボリュームの映像データのボクセル値を意味し、神経回路網１５１から出力された特徴は、二次元映像の特徴ベクトルを意味する。

最終映像決定部２２５は、目標特徴生成部２２４で生成された目標特徴と、映像特徴抽出部２２３によって抽出された二次元映像の特徴との類似度を計算し、二次元映像生成部２２２で生成された少なくとも１つの二次元映像のうち、最も高い類似度を有する二次元映像を最終映像として決定する。

図１６は、図２に図示された最終映像決定部２２５での最終映像決定過程のフローチャートである。図１６を参照すれば、最終映像決定部２２５での最終映像決定過程は、次のような段階から構成される。１６１段階で、最終映像決定部２２５は、目標特徴生成部２２４で生成された目標特徴と、映像特徴抽出部２２３によって抽出された二次元映像の特徴との類似度を計算する。ここで、目標特徴生成部２２４で生成された目標特徴と、映像特徴抽出部２２３によって抽出された二次元映像の特徴は、ベクトルの形式で表現されるので、最終映像決定部２２５は、目標特徴ベクトルと、映像特徴抽出部２２３によって抽出された二次元映像の特徴ベクトルとの類似度を計算する。例えば、ベクトル間の類似度は、ベクトル間の内積（inner product）でもって計算されてもよい。

１６２段階で、最終映像決定部２２５は、１６１段階で計算された類似度の大きさを基に、１６１段階で計算された少なくとも１つの類似度を整列し、このように整列された順序によって、少なくとも１つの類似度と二次元映像とを互いにマッピングし、ストレージ２３に保存する。１６３段階で、最終映像決定部２２５は、１６１段階で計算された類似度に基づいて、平面生成部２２１に追加平面を要請するか否かを決定し、その決定結果によって、１６４段階に進んむか、あるいは終了する。平面生成部２２１に、追加平面を要請すると決定された場合には、１６４段階に進み、そうでなければ１６５段階に進む。１６４段階で、最終映像決定部２２５は、平面生成部２２１に追加平面を要請する信号を出力する。１６５段階で、最終映像決定部２２５は、１６２段階で整列された類似度のうち最も高い類似度を有する二次元映像を最終映像として決定する。このように最終映像として決定された二次元映像は、最終映像であることを示す標識（mark）と共にストレージ２３に保存される。一方、ユーザ・インターフェース２５を介して入力されたユーザの入力情報によって、最終映像は、他の二次元映像に変更することもできる。入力部２１に入力された三次元ボリュームの映像データと、最終映像として決定された二次元映像は、神経回路網１５１の学習に使われ、ユーザの二次元映像選択意見は、神経回路網１５１の学習に反映される。

例えば、図４に図示された全域サーチ方式の場合、最終映像決定部２２５は、１６１段階で、三次元ボリュームを横断するあらゆる可能な平面の類似度が計算されたか否かによって、平面生成部２２１に追加平面を要請するか否かを決定する。すなわち、１６１段階で、三次元ボリュームを横断するあらゆる可能な平面の類似度が計算された場合には、追加平面要請をせず、そうでなければ、追加平面要請を行う。例えば、最終映像決定部２２５は、三次元ボリュームを横断するあらゆる可能な平面の個数を、前記の単位ｕ１，ｕ２によってあらかじめ設定し、その個数ほど追加平面を要請することができる。

図５に図示された任意サーチ方式の場合、最終映像決定部２２５は、１６１段階で計算されたＮ個の候補平面の類似度間の差によって、平面生成部２２１に追加平面を要請するか否かを決定する。すなわち、１６１段階で計算されたＮ個の候補平面の類似度間の最大差が、臨界値以下であるならば、それ以上サーチ空間が減らない場合であると判断し、追加平面要請を行わず、そうでなければ、追加平面要請を行う。もし任意サーチ方式で追加平面を要請する場合に、１６４段階で最終映像決定部２２５は、１６１段階で計算されたＮ個の候補平面の類似度を参照し、さらに高い類似度を有する一部候補平面を選定し、一部候補平面についての情報を、追加平面要請信号と共に、平面生成部２２１に出力する。例えば、最終映像決定部２２５は、１６１段階で、４個の候補平面の類似度が計算されたとすれば、さらに高い類似度を有する２個の候補平面を選定する。

図７に図示された主成分サーチ方式の場合、最終映像決定部２２５は、１６１段階で計算された類似度の変化によって、平面生成部２２１に追加平面を要請するか否かを決定する。さらに詳細に説明すれば、最終映像決定部２２５は、１６１段階で計算された類似度の変化形態が、すでに計算された類似度よりもさらに高い類似度を有する平面がサーチされる可能性がないということを示せば、追加平面要請を行わず、そうでなければ、追加平面要請を行う。例えば、ヒルクライミング（hill climbing)方式を利用すれば、最終映像決定部２２５は、次の通り、平面生成部２２１に追加平面を要請するか否かを決定することができる。ヒルクライミングは、ある問題に係わる任意の解（arbitrary solution）と共に始まり、解に影響を及ぼす要素（element）を順次に変更することによって、最適の解を探す１種の局所探索技術（local search technique）である。

すなわち、最終映像決定部２２５は、第１主成分ベクトルと第２主成分ベクトルとから構成された平面、該平面を第３主成分ベクトルの方向に平行に移動させることによって生成された平面、第１主成分ベクトルを含む任意の平面を、第１主成分ベクトルを中心に回転させることによって生成された平面、図７に図示されたように生成された平面の類似度を順に計算する。前記のように平行移動する場合及び回転する場合などそれぞれの場合のうち、類似度の変化が最大傾斜値（maximum gradient value）で増加する形態の場合を中心に、主成分サーチがなされる。このために、最終映像決定部２２５は、任意サーチ方式と同様に、類似度の変化が最大傾斜値で増加する平面の生成形態についての情報を、追加平面要請信号と共に、平面生成部２２１に出力する。もし類似度の変化が負に減少する形態であるか、あるいは類似度の変化がなければ、最終映像決定部２２５は、追加平面要請を行わず、これまで計算された類似度のうち、最も高い類似度を有する平面が最適であると決定する。

出力部２４は、ユーザ・インターフェース２５を介して入力された医療専門家の選択情報によって、最終映像決定部２２５で最終映像として決定された二次元映像の出力方式を選択し、選択された出力方式によって、ストレージ２３から少なくとも１つの二次元映像を読み取り、映像表示装置３０に出力する。例えば、二次元映像の出力方式は、ストレージ２３に保存された二次元映像を類似度の大きさ順序によって、順に出力する方式、最終映像決定部２２５で、最終映像として決定された二次元映像の平面を水平に移動させつつ出力する方式、最終映像決定部２２５で、最終映像として決定された二次元映像の平面を回転させつつ出力する方式などがある。医療専門家は、映像表示装置３０に表示された二次元映像を見て、最終映像決定部２２５で、最終映像として決定された二次元映像ではない他の映像を最終映像として選択することができる。このように、医療専門家によって最終映像が変更された場合、ストレージ２３に最終映像として保存されている二次元映像から、最終映像であることを示す標識が削除され、医療専門家によって選択された二次元映像に、最終映像であることを示す標識が付加される。

図１７は、本発明の一実施形態による二次元映像生成方法のフローチャートである。図１７を参照すれば、本実施形態による二次元映像生成方法は、図２に図示された二次元映像生成装置２０で、時系列的に処理される段階から構成される。従って、以下で省略された内容であっても、二次元映像生成装置２０について、以上で述べられた内容は、本実施形態による二次元映像生成方法にも適用することができる。

１７１段階で、二次元映像生成装置２０は、三次元映像検出装置１０から患者の身体部位を三次元的に示す三次元ボリュームの映像データを入力される。１７２段階で、二次元映像生成装置２０は、ストレージ２３に保存された多数の三次元映像と、多数の二次元映像の特徴とのマッピングに基づいて、入力部２１に入力された三次元ボリューム映像に対応する二次元映像の目標特徴を生成する。１７３段階で、二次元映像生成装置２０は、１７１段階で入力された三次元ボリュームの映像データについて、三次元ボリュームを横断する三次元空間上の仮想平面を生成する。１７４段階で、二次元映像生成装置２０は、１７３段階で生成された仮想平面に、１７１段階で入力された三次元ボリュームの映像データを適用することによって、患者の身体部位の断面を示す二次元映像を生成する。１７５段階で、二次元映像生成装置２０は、１７４段階で生成された二次元映像を構成するピクセルの値を利用し、該二次元映像の特徴を計算することによって、該二次元映像から該二次元映像の特徴を抽出する。

１７６段階で、二次元映像生成装置２０は、１７２段階で生成された目標特徴と、１７５段階で抽出された二次元映像の特徴との類似度を計算する。１７７段階で、二次元映像生成装置２０は、１７６段階で計算された類似度に基づいて、追加平面を要請するか否かを決定する。追加平面を要請すると決定された場合には、１７３段階に戻り、そうでなければ、１７８段階に進む。１７３段階に戻った場合、１７３段階で、すでに生成された平面とは異なる平面を生成し、１７３段階で、１７６段階までの動作を、追加平面要請がなくなるまで反復する。１７８段階で、二次元映像生成装置２０は、１７３段階で生成された少なくとも１つの二次元映像のうち最も高い類似度を有する二次元映像を、最終映像として決定する。１７９段階で、二次元映像生成装置２０は、医療専門家によって選択された最終映像の出力方式によって、ストレージ２３から少なくとも１つの二次元映像を読み取り、映像表示装置３０に出力する。

前記のように実施形態によれば、三次元超音波診断機のような三次元映像検出装置１０から出力された三次元映像から、患者の診断に最適の二次元映像を自動的に抽出し、医療専門家に提供することができる。従来は、三次元映像から、医療専門家によって選択された任意の断面の二次元映像が提供されたが、これは、患者の診断に最適の二次元映像とは言えない。前記の実施形態では、全域サーチ、任意サーチ、主成分サーチなどさまざまなサーチ技法を活用し、患者の診断に最適の二次元映像を探すために、医療専門家が三次元映像から、患者の診断に最適の二次元映像を見つける時間を大きく短縮させることができる。また、前記の実施形態では、医療専門家の意見が反映された三次元映像と、二次元映像の特徴との関係の学習結果を基に、医療専門家が望む二次元映像を正確に提供することができる。

また、前記の実施形態を、三次元映像をそのまま利用する方式と比較すれば、次のような付加的な長所がある。第一に、前記の実施形態によって、三次元映像から自動的に抽出された二次元映像は、過去に撮影された二次元映像と比較が可能であるために、これを介して、病変の進行推移を見て診断することができる病歴診断（medical historical diagnosis）が可能である。第二に、前記の実施形態によって、三次元映像から自動的に抽出された二次元映像には、既存の二次元映像の診断に使用した方式がいずれもそのまま適用される。第三に、前記の実施形態によって、三次元映像から自動的に抽出された二次元映像では、三次元映像に発生可能なノイズ（noise）が消える。三次元映像から二次元映像に変更すれば、データが減りつつノイズも減る。特に、特定方向にノイズが発生すれば、この方向に該当する平面が選択されない確率が高いために、ノイズが除去されるのである。

一方、図１７に図示された二次元映像生成方法は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタル・コンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。

本発明は、例えば、三次元超音波診断機のような医療装備関連の技術分野に効果的に適用可能である。

１０ 三次元映像検出装置
１１ プローブ
２０ 二次元映像検出装置
２１ 入力部
２２ 映像プロセッサ
２２１ 平面生成部
２２２ 二次元映像生成部
２２３ 映像特徴抽出部
２２４ 目標特徴生成部
２２５ 最終映像決定部
２３ ストレージ
２４ 出力部
２５ ユーザ・インターフェース
３０ 映像表示装置
１５１ 神経回路網
１５２ 学習部
１５３ 特徴決定部

Claims (20)

1. 患者の身体部位を三次元的に示す三次元ボリュームの映像データを入力される段階と、
   前記三次元ボリュームを横断する少なくとも１つの仮想平面を生成する段階と、
   前記少なくとも１つの仮想平面に、前記入力データを適用することによって、前記身体部位の断面を示す少なくとも１つの二次元映像を生成する段階と、
   前記少なくとも１つの二次元映像のうち、目標特徴と最も類似した特徴を有する二次元映像を出力する段階と、を含む二次元映像生成方法。
2. 前記仮想平面を生成する段階は、三次元空間上で平面をサーチする所定の方式によって、前記三次元ボリュームを横断する少なくとも１つの仮想平面を生成することを特徴とする請求項１に記載の二次元映像生成方法。
3. 前記仮想平面を生成する段階は、所定の平面方程式の係数値を順次に変更することによって、前記三次元ボリュームを横断する平面を順次に生成することを特徴とする請求項１に記載の二次元映像生成方法。
4. 前記仮想平面を生成する段階は、前記三次元ボリュームを横断する候補平面を生成し、前記候補平面のうち一部候補平面を選定し、前記一部候補平面の範囲内で新しい候補平面を生成する過程を所定回数反復することを特徴とする請求項１に記載の二次元映像生成方法。
5. 前記仮想平面を生成する段階は、前記三次元ボリュームの映像データの主成分分析（ＰＣＡ）を利用し、三次元空間での前記三次元ボリュームの映像データの変化形態によって、少なくとも１つの仮想平面を生成することを特徴とする請求項１に記載の二次元映像生成方法。
6. 前記仮想平面を生成する段階は、前記主成分分析を行うことによって、三次元空間で、前記三次元ボリュームの映像データの変化が最も大きい軸に該当する第１主成分ベクトルを計算し、前記第１主成分ベクトルを基に、少なくとも１つの仮想平面を生成することを特徴とする請求項５に記載の二次元映像生成方法。
7. 前記仮想平面を生成する段階は、
   前記三次元空間での前記三次元ボリュームの映像データのボクセル値に基づいて、前記ボクセルのうち所定の特徴を有する特徴点を決定する段階と、
   前記主成分分析を利用し、前記三次元空間での前記特徴点の分布から、少なくとも１つの仮想平面を生成する段階と、を含むことを特徴とする請求項５に記載の二次元映像生成方法。
8. 前記仮想平面を生成する段階は、
   前記三次元空間での前記三次元ボリュームの映像データのボクセル値に基づいて、前記三次元ボリュームに含まれているマスを検出する段階と、
   前記主成分分析を利用し、前記三次元空間での前記マスを構成する点の分布から、少なくとも１つの仮想平面を生成する段階と、を含むことを特徴とする請求項５に記載の二次元映像生成方法。
9. 前記二次元映像を生成する段階は、前記三次元ボリュームの映像データのボクセルのうち、前記仮想平面に交差するボクセル値を利用し、前記二次元映像を生成することを特徴とする請求項１に記載の二次元映像生成方法。
10. 前記二次元映像を生成する段階は、
    前記三次元ボリュームの映像データのボクセルのうち、前記仮想平面に交差するボクセルを抽出する段階と、
    前記三次元ボリュームの映像データのボクセル値を利用し、前記仮想平面のピクセルのうち、前記抽出されたボクセルに該当するピクセルを除外した残りのピクセルを補間する段階と、
    前記抽出されたボクセル値と、前記補間されたピクセルの値とを併合することにより、前記二次元映像を生成する段階と、を含むことを特徴とする請求項９に記載の二次元映像生成方法。
11. 前記少なくとも１つの二次元映像を構成するピクセルの値を利用し、前記少なくとも１つの二次元映像の特徴を抽出する段階をさらに含むことを特徴とする請求項１に記載の二次元映像生成方法。
12. 前記二次元映像の特徴を抽出する段階は、前記少なくとも１つの二次元映像を構成するピクセルの値に基づいて、前記少なくとも１つの二次元映像を分割し、前記分割された領域を構成するピクセルの値を利用し、前記分割された領域の特徴を計算することによって、前記少なくとも１つの二次元映像の特徴を抽出することを特徴とする請求項１１に記載の二次元映像生成方法。
13. 前記目標特徴と、前記少なくとも１つの二次元映像の特徴との類似度を計算し、前記少なくとも１つの二次元映像のうち最も高い類似度を有する二次元映像を最終映像として決定する段階をさらに含み、
    前記二次元映像を出力する段階は、前記最終映像として決定された二次元映像を出力することを特徴とする請求項１に記載の二次元映像生成方法。
14. 多数の三次元医療映像と、多数の二次元医療映像の特徴とのマッピングに基づいて、前記三次元ボリュームの映像に対応する二次元映像の目標特徴を生成する段階をさらに含むことを特徴とする請求項１に記載の二次元映像生成方法。
15. 前記二次元映像の目標特徴を生成する段階は、前記マッピングに基づいて、前記三次元映像と、前記二次元映像の特徴との関係を示すモデルを学習させ、前記学習されたモデルを利用し、前記三次元ボリューム映像に対応する二次元映像の目標特徴を生成することを特徴とする請求項１４に記載の二次元映像生成方法。
16. 前記二次元映像の目標特徴を生成する段階は、前記入力された三次元ボリュームの映像データと前記最も類似した特徴を有する二次元映像を利用し、前記モデルを学習させることを特徴とする請求項１５に記載の二次元映像生成方法。
17. 前記二次元映像の目標特徴を生成する段階は、ユーザの入力情報によって、前記最も類似した特徴を有する二次元映像が、他の映像に変更されれば、前記入力された三次元ボリュームの映像データと、前記変更された二次元映像とを利用し、前記モデルを学習させることを特徴とする請求項１６に記載の二次元映像生成方法。
18. 請求項１ないし請求項１７のうち、いずれか１項に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
19. 患者の身体部位を三次元的に示す三次元ボリュームの映像データを入力される入力部と、
    前記三次元ボリュームを横断する少なくとも１つの仮想平面を生成し、前記少なくとも１つの仮想平面に、前記入力データを適用することによって、前記身体部位の断面を示す少なくとも１つの二次元映像を生成する映像プロセッサと、
    前記少なくとも１つの二次元映像のうち、目標特徴と最も類似した特徴を有する二次元映像を出力する出力部と、を含む二次元映像生成装置。
20. 前記三次元ボリュームの映像データと、前記最も類似した特徴を有する二次元映像とが互いにマッピングされて保存されるストレージをさらに含むことを特徴とする請求項１９に記載の二次元映像生成装置。