JP3910239B2

JP3910239B2 - Medical image synthesizer

Info

Publication number: JP3910239B2
Application number: JP30327096A
Authority: JP
Inventors: 裕子田中
Original assignee: Toshiba Corp; Toshiba Medical Systems Engineering Co Ltd
Current assignee: Toshiba Corp; Canon Medical Systems Corp
Priority date: 1996-11-14
Filing date: 1996-11-14
Publication date: 2007-04-25
Anticipated expiration: 2016-11-14
Also published as: JPH10143652A

Description

【０００１】
【発明の属する技術分野】
本発明は、医用画像合成装置に係り、特に３次元医用画像と２次元画像とを合成表示する医用画像合成装置に関する。
【０００２】
【従来の技術】
近年、外科手術を支援する目的で、手術の進入位置を前もって撮影された医用画像上にマーキングして表示する医用ナビゲーションシステムの開発が進められている。
一方、脳外科，耳鼻科領域では、顕微鏡下での手術が行われ、また、患者への侵襲が少ないという理由から内視鏡下での手術も普及してきている。
【０００３】
これら顕微鏡下，内視鏡下の手術では、術者の視野が限定されることもあり、手術中に、現時点の手術の進入位置がどこであるかをリアルタイムで確認することが、手術の安全性，確実性といった点から要求される。
本願発明の発明者は、このような内視鏡下，顕微鏡下の手術を支援する目的の医用ナビゲーションシステムを、特願平７−３３７２５６号（名称「医用ナビゲーションシステム」）で提案した。
該提案は、内視鏡，顕微鏡，ビデオカメラ等により得た画像と、前もって撮影された医用画像（Ｘ線ＣＴ装置，ＭＲＩ装置，核医学装置等の３次元医用画像）との位置関係を随時算出し、同位置，同方向の画像を表示するものである。
【０００４】
【発明が解決しようとする課題】
ところで、内視鏡，顕微鏡，ビデオカメラ等で撮影した２次元画像には、光学レンズの特性等により、前記２次元画像に歪みが存在することがある。従って、前記ビデオカメラ等の２次元画像と医用画像から作成した３次元医用画像，断面画像を重ね合わせたり、合成して表示する際には、ズレが生じることがある。
【０００５】
このズレをなくす手段として、「レンズ，カメラの製造段階で歪みを無くす」ということが考えられる。しかし、この手段は膨大なコストを必要とし、ビデオカメラ等が高価になってしまう。
【０００６】
また、術者の視野を広げるためにビデオカメラ等による２次元画像を故意に歪める場合があり、この場合も前記重ね合わせを行うとズレが生じる。そこで、本発明の目的は、３次元医用画像と２次元画像とを同時または合成して表示する際に、２次元画像に起因する画像間のズレを抑え、被検体の所望患部の有用情報が容易に得られる医用画像合成装置を提供することである。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明の医用画像合成装置は、医用画像診断装置によって撮影された被検体の３次元医用画像を記憶する３次元医用画像記憶手段と、前記被検体と同一被検体の２次元画像を供給する２次元画像供給手段と、この２次元画像供給手段から供給される２次元画像の前記被検体に対する位置を検出する位置検出手段と、この位置検出手段が検出した前記被検体の位置に対して、同位置になるように前記３次元医用画像を座標変換する座標変換手段と、前記２次元画像供給手段から供給される２次元画像の固有の透視投影による歪みに関するデータを記憶する歪みデータ記憶手段と、この歪みデータ記憶手段に記憶された歪みデータに基づき、前記座標変換後の３次元医用画像をゆがみ補正する３次元医用画像補正手段と、この３次元医用画像補正手段とにより補正された３次元医用画像と２次元画像供給手段から供給される２次元画像とを同時または合成して表示する表示手段とを備えたことを特徴とする。
【０００８】
請求項１記載の発明によれば、位置検出手段は、２次元画像供給手段から供給される２次元画像の被検体に対する位置を検出する。座標変換手段は、検出された前記２次元画像の被検体の位置に対して、同一の位置になるように３次元医用画像を座標変換する。３次元医用画像補正手段は、歪みデータ記憶手段に記憶された２次元画像交友の透視投影による歪みに関するデータに基づき、座標変換後の３次元医用画像を補正する。表示手段は、補正後の３次元医用画像と、２次元画像供給手段から供給される２次元画像とを同時または合成して表示する。
【０００９】
また、請求項２記載の発明は、前記２次元画像供給手段は、２次元画像を記憶する２次元画像記憶手段であることを特徴とする。
請求項２記載の発明によれば、２次元画像供給手段は２次元画像を記憶する２次元画像記憶手段なので、過去に記憶した２次元画像をも手術等に活用することができる。
【００１０】
また、請求項３記載の発明は、前記２次元画像供給手段は、２次元画像を撮影し供給する２次元画像撮影手段であることを特徴とする。
請求項３記載の発明によれば、２次元画像供給手段は２次元画像を撮影し供給する２次元画像撮影手段（例えば、ビデオカメラ）なので、リアルタイムの２次元画像を手術等に活用できる。
【００１１】
また、請求項４記載の発明は、前記表示手段に前記２次元画像と補正後の３次元医用画像とを同時または合成して表示する際に、前記２次元画像と補正後の３次元医用画像との合成領域を任意に設定する合成領域設定手段を備えたことを特徴とする。請求項４記載の発明によれば、例えば、図７（Ａ）に示すように、２次元画像と補正後の３次元医用画像との合成領域を任意に設定できる。
【００１２】
また、請求項５記載の発明は、前記表示手段に前記２次元画像と補正後の３次元医用画像とを同時または合成して表示する際に、前記２次元画像と補正後の３次元医用画像との合成割合を任意に設定する合成割合設定手段を備えたことを特徴とする。請求項５記載の発明によれば、２次元画像と３次元医用画像との合成割合（例えば、濃度、色等）を任意に設定できる。
【００１３】
また、請求項６記載の発明は、前記表示手段に前記２次元画像と補正後の３次元医用画像とを同時または合成して表示する際に、前記２次元画像と補正後の３次元医用画像のいずれか一方の画像上で特定の部位を指定した場合に、この特定の部位に対応する他方の画像上のマークを表示させるマーク表示制御手段を備えたことを特徴とする。請求項６記載の発明によれば、例えば、図７（Ｂ）に示すように、ビデオカメラ画像に対して所望の箇所をマウスカーソルで指示すると、対応する３次元医用画像に基づく表面表示画像上の箇所にマーク（例えば、＋マーク）が表示される。
【００１４】
【発明の実施の形態】
以下、本発明の医用画像合成装置を図示の実施形態例に基づいて説明する。
【００１５】
（Ｉ）ハードウエア構成
図１は本実施形態例のハードウェア構成を示すブロック図である。
図１に示すように、医用画像合成装置ＩＧは、システム全体を管理するシステムコントローラ（ＣＰＵ）１と、顕微鏡画像，内視鏡画像，ビデオカメラ画像等の２次元画像を撮影する２次元画像撮影部２と、該２次元画像撮影部２が被検体に対してどの位置にあるかを検出する位置検出部３と、前記２次元画像撮影部（例えば、ビデオカメラ）の固有の光学的歪みデータを記憶した歪みデータ記憶部４と、Ｘ線ＣＴ装置，ＭＲＩ装置，ＳＰＥＣＴ装置，核医学装置等の医用画像診断装置１２が撮影した３次元の医用画像データを保存する画像記憶部５とを備えている。
【００１６】
更に医用画像合成装置ＩＧは、前記画像記憶部５に保存された３次元医用画像データから次に説明する画像合成に用いられる表面表示画像，断面画像（ＭＰＲ画像）を作成する画像処理部６と、前記２次元画像撮影部２が撮影した２次元画像の撮影位置に対し、同一撮影位置になるように画像記憶部５に保存された３次元医用画像（医用画像データ）を座標変換する座標変換部７と、座標変換後の３次元医用画像を、前記光学的歪みデータに基づいて歪み補正すると共に、前記２次元画像と歪み補正後の３次元医用画像との画像合成を行う画像合成部８と、該画像合成部８が合成した画像を表示する画像表示部９と、該画像表示部９に表示された画像の合成領域の選択（次に説明する）等を行うマウス１０と、各装置を接続するバス１１等を備えている。前記医用画像診断装置１２は、医用画像合成装置ＩＧに対してオンラインで接続されている。
【００１７】
（ＩＩ）動作説明
以下、本実施形態例の動作を、（１）座標変換、（２）カメラ画像の歪み、（３）合成画像の作成、（４）画像表示例に分けて説明する。
【００１８】
（１）座標変換
本座標変換の概要趣旨は次の通りである。
例えば、同一被検体の同一箇所（例えば、頭部）の３次元医用画像と２次元画像とを比較表示する。該２次元画像が例えば側頭部画像であると仮定すると、３次元医用画像も同一方向から撮影した側頭部画像でないと、比較をするのが困難である。そこで、３次元医用画像から抽出した画像が、２次元画像に対して同一位置（例えば、側頭部）から見た画像になるように、画像変換する。
【００１９】
図２は、医用画像（３次元医用画像）ＴＤが、ビデオカメラ画像（２次元画像）ＳＤと同一位置から見た画像となるように、座標変換を行う場合の概念図である。
図２に示すように、医用画像診断装置１２（図１参照）は、被検体Ｈを連続した断層像として撮影する（３次元医用画像）。該３次元医用画像に対して、符号Ｕ1 に示すように、「Ｘ−Ｙ−Ｚ」の座標系を設定する。
一方、２次元画像撮影部２としてビデオカメラ２ａを使用した場合に、該カメラ２ａの設置位置に対しても、符号Ｖ1 に示すように、「Ｘ’−Ｙ’−Ｚ’」の座標系を設定する。該カメラ２ａのＺ’軸を被検体Ｈの方向にとれば、被検体Ｈの画像（この図では側頭部画像）は、符号Ｖ2 に示すように、「Ｘ’−Ｙ’」座標上に存在する。
【００２０】
医用画像（３次元医用画像）ＴＤもカメラ画像（２次元画像）ＳＤも、同一被験体Ｈに対して得られた画像であるので、「Ｘ−Ｙ−Ｚ」座標と「Ｘ’−Ｙ’−Ｚ’」座標との間で所定の座標変換を行えば、３次元医用画像に基づき、例えばビデオカメラ画像に相当する２次元画像を抽出することができる。この座標変換については、前記特願平７−３３７２５６号で提案した方式で行う。
【００２１】
ここで、特願平７−３３７２５６号の座標変換を、本実施形態例に適用する方法を説明する。
座標変換部７は３次元医用画像ＴＤから被検体Ｈの側頭部の外形形状（外形輪郭）を抽出し（図３（Ｂ）参照）、この抽出画像と、ビデオカメラ２ａでリアルタイムで撮影中の被検体Ｈの外形形状（形状情報）（図３（Ａ）参照）との相関を求めることによって、３次元医用画像ＴＤと２次元画像ＳＤとの位置関係を求める。
【００２２】
次に、この位置関係の求め方を説明する。
先ず、３次元医用画像ＴＤからの被検体Ｈの外形輪郭（図３（Ｂ））の抽出を行うには、３次元医用画像ＴＤを対象として閾値によって被検体Ｈの実体部分とその他の背景（空気）の部分を区別する。閾値の決定には、３次元医用画像ＴＤのヒストグラム（画像の信号値に対する画素数の分布をグラフ化したもの）を求め、背景部分のモード値と背景部分のピークの半値幅より次式によって算出する。
【００２３】
【数１】
閾値＝背景部分のモード値＋ｋ×背景部分のピーク値の半値幅
ｋ：経験値
被検体Ｈの実体部分の信号値が背景の信号値よりも大きい場合は、
ｋ＝２．５である。
【００２４】
３次元医用画像ＴＤ中で閾値より高い値をもつ画素に“１”、閾値よりも低い値をもつ画素に“０”を割り当てることによって、被検体Ｈの実体部分と背景（空気）部分が“１”または“０”の値で区別される。
“１”または“０”で表された３次元医用画像ＴＤの“１”と“０”の境界を抽出することにより、被検体Ｈの外形抽出が可能となる（図３（Ｂ）参照）。なお、境界抽出法については、画像処理関連の文献に多々紹介されている。
【００２５】
抽出された被検体Ｈの外形輪郭（図３（Ｂ）参照）は、３次元医用画像ＴＤ上の画素の集合として表現される。この輪郭画素の座標は３次元医用画像ＴＤのもつ座標系に従って以下のように求められる。
図４に示すように、画像の第一画素の座標（０ｘ、０ｙ、０ｚ）と列方向の１
【外１】

目、行方向でｊ番目の位置にある場合、この画素の座標は
【数２】
（０ｘ＋Ｃｘ＊ｉ＋Ｒｘ＊ｊ，０ｙ＋Ｃｙ＊ｉ＋Ｒｙ＊ｊ，
０ｚ＋Ｃｚ＊ｉ＋Ｒｚ＊ｊ）
となる。
【００２６】
画像上の外形形状と被検体Ｈの外形形状との相関は、画像上の各外形輪郭点から一番近い計測外形形状までの点間の距離の平均或いは平均二乗和として計算する。従って、相関値が小さいほど２つの外形形状が一致することになる。
【００２７】
このとき注意しなくてはならないのが、比較，相関をとる領域が同一でなくてはならないことである。例えば、３次元医用画像ＴＤの撮影領域が下顎部分から頭頂まで頭全体にわたるのに対して、鼻から頭頂にかける頭の前方部分の限られた領域しか形状計測ができなかった場合等では、３次元医用画像ＴＤから抽出した輪郭点に対応する形状情報が無い場合がある。このときは、計測した形状情報に対応させるため、相関の計算を行う輪郭点の制限が必要となる。
【００２８】
これには、用いる３次元医用画像ＴＤから作成した三次元表面表示画像（図４参照）を画像処理部６にて作成し、操作者が画像表示部９に表示されたこの三次元表面表示画像を見ながら領域の選択を行うようにする。領域の選択手段としては、図１中に示すマウス１０によって画像表示部９上の（円形、矩形、自由形状）領域を指定するようにする。
【００２９】
次に、以上のようにして求めた形状の相関に基づき、３次元医用画像ＴＤと２次元画像ＳＤとの位置関係を次のようにして導き出す。
３次元医用画像ＴＤは医用画像診断装置１２に基づく座標系（Ｘ−Ｙ−Ｚ）に存在し、２次元画像ＳＤはカメラ２ａに基づく座標系（Ｘ’−Ｙ’−Ｚ’）に存在する。
【００３０】
【外２】

標系がいずれも実寸法の座標系である場合には、変換行列は、三軸方向の回転と三軸方向の平行移動によって表現される。
【００３１】
【外３】

ここで、３次元医用画像ＴＤから抽出された輪郭画素をＰ_i、この画素の座標を位置ベク
【外４】

た点の座標に一番近い計測外形の点を探索し、２つの点間の距離を計算する。
【００３２】
この処理を指定された領域内にある全ての輪郭画素について全て求め相関値Ｃを算出する。
【００３３】
【外５】

は最適化と呼ばれ、現在までに最急降下法、やきなまし法、滑降シンプレックス法等様々な方法が提案されている。最適化の方法としてこれら既に提案されている方法のいずれを用いてもよい。
【００３４】
（２）カメラ画像の歪み
カメラ画像（２次元画像）ＳＤにはレンズ系の歪みと焦点位置によって決定される透視投影による歪み（例えば、遠くは小さく見え、近くは大きく見える）が存在する。従って、３次元医用画像ＴＤの座標系とカメラ画像ＳＤの座標系間の座標変換は、単純な回転，平行移動できまる変換とはならず、歪みの補正が含まれた変換となる。
一般に、カメラ画像ＳＤの幾何補正は、写真計測，ロボットの目等のコンピュータビジョンの分野で様々な方式が提案されている。これらの多くは、各カメラの焦点距離毎に既知のパターンを撮影し、写ったパターンの形状から、補正パラメータを数学的に求める方法がとられている（カメラキャリブレーションと称されている）。この方法については、一般的な方法であるので、本実施形態例では特に方式を限定しない。
【００３５】
（３）合成画像の作成
図５は本実施形態例の合成画像作成の流れを示すフローチャートである。
予め、使用する顕微鏡，内視鏡，ビデオカメラ等のレンズ系の歪みの補正パラメータを各焦点距離毎に求めておき、図６に示すカメラ情報テーブルとして歪みデータ記憶部４に記憶しておく。
【００３６】
図５に示すように、位置検出部３により２次元画像撮影部（ビデオカメラ）２ａの位置が検出され、その位置情報が入力されると（ステップＳ１）、座標変換部７が３次元医用画像ＴＤの座標系（Ｘ−Ｙ−Ｚ）とビデオカメラ２ａの座標系（Ｘ’−Ｙ’−Ｚ’）間の変換行列を算出する（ステップＳ２）。この算出は前記［（１）座標変換］に記載した方法による。
【００３７】
次いで、カメラの焦点情報の入力が指示されると（ステップＳ３）、予め作成してあったカメラ情報テーブル（図６参照）から補正パラメータを読み出し（ステップＳ４）、この補正パラメータに基づき３次元医用画像ＴＤの歪みの補正を行ない、補正後の３次元医用画像ＴＤH を生成する（前述の如く歪み補正の方法は一般的なものでよい）。
補正後の３次元医用画像ＴＤH とカメラ画像ＳＤとを画像合成部８で重ね合せ処理を行って合成画像を作成する（ステップＳ７）。
【００３８】
（４）画像表示例
以上のような流れにより画像合成部８で補正後の３次元医用画像ＴＤH とカメラ画像ＳＤとの重ね合せ処理を行い、更に画像表示部９に表示する具体例について説明する。
【００３９】
▲１▼ 図７（Ａ），（Ｂ）は、前述の座標変換と歪み補正を行って作成した３次元医用画像（医用画像）ＴＤに基づく表面表示画像（斜線で示す）と、カメラ画像（２次元画像）ＳＤとの合成表示例である。
【００４０】
図７（Ａ）は、表面表示画像とカメラ画像（２次元画像）の両画像を重ね合せて表示した例で、重ね合せる領域はマウスカーソルによる指定で設定する。重ね合せ領域の形状は矩形，円形，多角形等の任意に設定でき、重ね合せ領域は両画像の半透明合成画像として表示する。両画像の透明度／不透明度は合成レベルスライダ２１を左右に移動操作することにより、連続的変化が可能である。
【００４１】
図７（Ｂ）は、両画像を並べて表示した例である。いずれか一方の画像上でマウスカーソルを移動させると、他方の画像上にマウスカーソルと同一位置を示すマークが表示される（＋マークで示す）。このようにすれば、両画像の位置関係が一目で分かる。
【００４２】
▲２▼ 図８（Ａ），（Ｂ）は、座標変換と歪み補正を行って作成した３次元医用画像に基づく断面表示画像と、カメラ画像との合成表示例である。
【００４３】
図８（Ａ）は両画像を重ね合せて表示した例で、重ね合せる領域はマウスカーソルとｘｙｚ軸にそれぞれ対応したスライダ２２ａ，２２ｂ，２２ｃによって設定する。
図８（Ａ）においては、切り出す断面の形状をハコ型（立方体）としているが、円柱形等の形状でもよい。
また、合成領域はマウスのドラッキングによって回転させることが可能である。
【００４４】
図８（Ｂ）は両画像を並べて表示する例である。
図８（Ｂ）において、カメラ画像上にマウスカーソルを移動させると、マウスカーソルで指定した位置を通る直交断面Ａ，Ｂ（Ａ断面，Ｂ断面）とカメラ画像の方向に垂直な断面が同時に表示される（斜線で示す）。
また、垂直断面の位置（図２においてカメラ２ａからの遠さ）は、スライダ２３を操作することで設定できる。
更に、各断面にはマウスカーソルに相当する位置にマーク（この例の場合、＋印）が表示される。
【００４５】
▲３▼ 図９は、カメラ画像と断面画像あるいは表面表示画像との重ね合せ表示の場合に（符号Ｌ1 で示す）、カメラの向きと合成領域の位置，深さを示すガイド画面（符号Ｍ1 で示す）を同時に表示した例である。
【００４６】
図９において、重ね合せ画面Ｌ1 の医用画像（斜線で示す。この場合は断面画像）では被検体の頭部を目・鼻の方向から見て、どの程度の深さであるのか不明である。そこで、ガイド画面Ｍ1 として側頭部の表面表示画像を用意し、カメラ２ａの設置方向を矢印で示すと共に、コの字状マークＫ1 により断面画像の深さを符号Ｋ11により示す。
このようにすれば、医用画像（表面表示画像または断面画像）の深さがどの程度であるかを一目で知ることができる。
【００４７】
▲４▼ 図１０は、カメラ画像と表面表示画像との並列表示の際に（符号Ｌ2 とＭ2 ）、いずれか一方の画像上で、例えば手術の予定線３１を描画したとき、他方の画像上にも、同じ予定線３２が描かれる例である。
以上の▲１▼〜▲４▼で説明したような表示によって、カメラ２ａで得られた被検体Ｈの画像（２次元画像）と、予め撮影された医用画像（３次元医用画像）ＴＤとをズレや誤差なく関連して対応づけて観察することができるので、手術の支援に有効である。
【００４８】
なお、本実施形態例では２次元画像撮影部（ビデオカメラ）２で撮影したリアルタイムの２次元画像と、画像記憶部４に記憶済みの３次元医用画像との合成処理について説明した。しかし、リアルタイムの２次元画像の代わりに、２次元画像撮影手段（内視鏡，顕微鏡，ビデオカメラ等）で撮影した２次元画像を予め２次元画像記憶手段（図示せず）に記憶しておき、該２次元画像記憶手段から２次元画像を取り出して３次元医用画像と前述の合成処理をしてもよい。
【００４９】
【発明の効果】
以上説明したように各請求項記載の発明によれば、３次元医用画像と２次元画像とを同時または合成して表示する際に、２次元画像に起因する画像間のズレを抑え、被検体（患者）の所望患部の有用情報が容易に得られる医用画像合成装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態例のシステム構成図である。
【図２】同実施形態例における座標変換を示す概念図である。
【図３】同実施形態例における被検体の図であって、（Ａ）はビデオカメラで撮影した形状情報を示す図、（Ｂ）は３次元医用画像から抽出した外形輪郭を示す図である。
【図４】前記先願における医用画像の座標系を示す図である。
【図５】同実施形態例において合成画像の生成過程を示すフローチャートである。
【図６】同実施形態例におけるカメラの補正用の情報テーブルの例である。
【図７】同実施形態例におけるカメラ画像と表面表示画像との合成を説明する図である。
【図８】同実施形態例におけるカメラ画像と断面画像との合成を説明する図である。
【図９】同実施形態例におけるカメラ画像と医用画像（断面画像）とを合成した際に、表面表示画像ではどの程度の深さの断面画像であるかを説明する図である。
【図１０】同実施形態例におけるカメラ画像に対して手術予定線を描いた場合に、対応する表面表示画像にも手術予定線が自動的に描かれる様子を説明する図である。
【符号の説明】
１システムコントローラ
２２次元画像撮影部
３位置検出部
４歪みデータ記憶部
５画像記憶部
６画像処理部
７座標変換部
８画像合成部
９画像表示部
１０マウス
１１バス
１２医用画像診断装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a medical image synthesizer, and more particularly to a medical image synthesizer that synthesizes and displays a three-dimensional medical image and a two-dimensional image.
[0002]
[Prior art]
2. Description of the Related Art In recent years, for the purpose of assisting surgery, a medical navigation system for marking and displaying a surgical entry position on a medical image taken in advance has been developed.
On the other hand, in the field of neurosurgery and otolaryngology, surgery under a microscope is performed, and endoscopic surgery has also become widespread because it is less invasive to patients.
[0003]
In these microscopic and endoscopic operations, the field of view of the operator may be limited. During the operation, it is possible to confirm in real time where the current surgical entry position is. , Required in terms of certainty.
The inventor of the present invention has proposed a medical navigation system for supporting such endoscopic and microscopic surgery in Japanese Patent Application No. 7-337256 (named “medical navigation system”).
The proposal proposes the positional relationship between an image obtained by an endoscope, a microscope, a video camera and the like and a medical image (a three-dimensional medical image of an X-ray CT apparatus, an MRI apparatus, a nuclear medicine apparatus, etc.) taken in advance. The calculated image is displayed at the same position and in the same direction.
[0004]
[Problems to be solved by the invention]
By the way, in a two-dimensional image taken with an endoscope, a microscope, a video camera, or the like, distortion may exist in the two-dimensional image due to characteristics of an optical lens or the like. Accordingly, when a two-dimensional image such as the video camera is combined with a three-dimensional medical image or a cross-sectional image created from a medical image or displayed by being combined, a deviation may occur.
[0005]
As a means for eliminating this deviation, it is conceivable to “eliminate distortion at the manufacturing stage of the lens and camera”. However, this means requires enormous costs, and video cameras and the like become expensive.
[0006]
In addition, there is a case where a two-dimensional image obtained by a video camera or the like is intentionally distorted in order to widen the field of view of the operator. Therefore, an object of the present invention is to suppress a shift between images caused by a two-dimensional image when displaying a three-dimensional medical image and a two-dimensional image simultaneously or in combination, and to obtain useful information on a desired affected part of a subject. It is an object of the present invention to provide a medical image synthesis apparatus that can be easily obtained .
[0007]
[Means for Solving the Problems]
In order to achieve the above object, a medical image synthesizing apparatus according to the present invention includes a three-dimensional medical image storage means for storing a three-dimensional medical image of a subject photographed by a medical image diagnostic apparatus, and the same subject as the subject. A two-dimensional image supply means for supplying the two-dimensional image, a position detection means for detecting a position of the two-dimensional image supplied from the two-dimensional image supply means with respect to the subject, and the object detected by the position detection means. Coordinate conversion means for converting the coordinates of the three-dimensional medical image so as to be at the same position as the position of the specimen, and data relating to distortion caused by unique perspective projection of the two-dimensional image supplied from the two-dimensional image supply means Distortion data storage means for storing, and 3D medical image correction means for correcting distortion of the 3D medical image after the coordinate conversion based on the distortion data stored in the distortion data storage means , And further comprising a display means for displaying the two-dimensional image supplied from the three-dimensional medical image and the two-dimensional image supply means which is corrected by the three-dimensional medical image correcting unit simultaneously or combined to .
[0008]
According to the first aspect of the present invention, the position detecting means detects the position of the two-dimensional image supplied from the two-dimensional image supply means with respect to the subject. The coordinate conversion means performs coordinate conversion of the three-dimensional medical image so that the detected position of the subject of the two-dimensional image is the same position. The three-dimensional medical image correcting unit corrects the coordinate-converted three-dimensional medical image based on data relating to distortion caused by perspective projection of the two-dimensional image friend stored in the distortion data storage unit. The display means displays the corrected three-dimensional medical image and the two-dimensional image supplied from the two-dimensional image supply means simultaneously or in combination.
[0009]
The invention according to claim 2 is characterized in that the two-dimensional image supply means is a two-dimensional image storage means for storing a two-dimensional image.
According to the second aspect of the invention, since the two-dimensional image supply means is a two-dimensional image storage means for storing a two-dimensional image, the two-dimensional image stored in the past can also be used for surgery or the like.
[0010]
The invention according to claim 3 is characterized in that the two-dimensional image supply means is a two-dimensional image photographing means for photographing and supplying a two-dimensional image.
According to the third aspect of the present invention, since the two-dimensional image supply means is a two-dimensional image photographing means (for example, a video camera) for photographing and supplying a two-dimensional image, a real-time two-dimensional image can be used for surgery or the like.
[0011]
According to a fourth aspect of the present invention, when the two-dimensional image and the corrected three-dimensional medical image are displayed simultaneously or combined on the display means, the two-dimensional image and the corrected three-dimensional medical image are displayed. And a synthesis area setting means for arbitrarily setting the synthesis area. According to the fourth aspect of the present invention, for example, as shown in FIG. 7A, it is possible to arbitrarily set the synthesis region of the two-dimensional image and the corrected three-dimensional medical image.
[0012]
In the invention according to claim 5, when the two-dimensional image and the corrected three-dimensional medical image are displayed simultaneously or combined on the display means, the two-dimensional image and the corrected three-dimensional medical image are displayed. And a composition ratio setting means for arbitrarily setting the composition ratio. According to the invention described in claim 5, the composition ratio (for example, density, color, etc.) of the two-dimensional image and the three-dimensional medical image can be arbitrarily set.
[0013]
According to a sixth aspect of the present invention, when the two-dimensional image and the corrected three-dimensional medical image are displayed simultaneously or combined on the display means, the two-dimensional image and the corrected three-dimensional medical image are displayed. If you specify a particular site on one of the images, characterized by comprising a mark display control means for displaying a mark on the other image corresponding to this specific site. According to the sixth aspect of the present invention, for example, as shown in FIG. 7B, when a desired position is indicated with a mouse cursor on the video camera image, the surface display image based on the corresponding three-dimensional medical image is displayed. A mark (for example, a + mark) is displayed at the location.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a medical image synthesizing apparatus of the present invention will be described based on the illustrated embodiment.
[0015]
(I) Hardware Configuration FIG. 1 is a block diagram showing the hardware configuration of this embodiment.
As shown in FIG. 1, a medical image synthesizer IG includes a system controller (CPU) 1 that manages the entire system, and two-dimensional image photographing that captures two-dimensional images such as a microscope image, an endoscopic image, and a video camera image. Unit 2, a position detection unit 3 for detecting the position of the two-dimensional image photographing unit 2 with respect to the subject, and optical distortion data specific to the two-dimensional image photographing unit (for example, a video camera) A strain data storage unit 4 and an image storage unit 5 for storing three-dimensional medical image data captured by a medical image diagnostic apparatus 12 such as an X-ray CT apparatus, an MRI apparatus, a SPECT apparatus, or a nuclear medicine apparatus. ing.
[0016]
Furthermore, the medical image composition apparatus IG includes a surface display image and a cross-sectional image (MPR image) used for image composition described below from the three-dimensional medical image data stored in the image storage unit 5 and an image processing unit 6. Coordinate transformation for coordinate transformation of a three-dimensional medical image (medical image data) stored in the image storage unit 5 so as to be at the same photographing position with respect to a photographing position of the two-dimensional image photographed by the two-dimensional image photographing unit 2 The image synthesizing unit 8 that performs distortion correction on the three-dimensional medical image after coordinate conversion and the coordinate conversion based on the optical distortion data, and combines the two-dimensional image and the three-dimensional medical image after distortion correction. An image display unit 9 for displaying an image synthesized by the image synthesis unit 8, a mouse 10 for selecting a synthesis area of the image displayed on the image display unit 9 (to be described below), and each device Connect the bus 11 etc. Eteiru. The medical image diagnostic apparatus 12 is connected online to the medical image synthesis apparatus IG.
[0017]
(II) Description of Operation Hereinafter, the operation of this embodiment will be described by dividing it into (1) coordinate transformation, (2) camera image distortion, (3) creation of composite image, and (4) image display example.
[0018]
(1) Coordinate conversion The outline of this coordinate conversion is as follows.
For example, a three-dimensional medical image and a two-dimensional image of the same part (for example, the head) of the same subject are compared and displayed. Assuming that the two-dimensional image is a temporal image, for example, it is difficult to compare unless the three-dimensional medical image is a temporal image taken from the same direction. Therefore, image conversion is performed so that the image extracted from the three-dimensional medical image becomes an image viewed from the same position (for example, the temporal region) with respect to the two-dimensional image.
[0019]
FIG. 2 is a conceptual diagram when coordinate conversion is performed so that the medical image (three-dimensional medical image) TD is an image viewed from the same position as the video camera image (two-dimensional image) SD.
As shown in FIG. 2, the medical image diagnostic apparatus 12 (see FIG. 1) captures the subject H as a continuous tomographic image (three-dimensional medical image). A coordinate system of “XYZ” is set for the three-dimensional medical image, as indicated by reference symbol U1.
On the other hand, when the video camera 2a is used as the two-dimensional image photographing unit 2, the coordinate system of "X'-Y'-Z '" is also used for the installation position of the camera 2a, as indicated by reference numeral V1. Set. If the Z′-axis of the camera 2a is taken in the direction of the subject H, the image of the subject H (the temporal image in this figure) is on the “X′-Y ′” coordinates as indicated by reference numeral V2. Exists.
[0020]
Since both the medical image (three-dimensional medical image) TD and the camera image (two-dimensional image) SD are images obtained for the same subject H, the “XYZ” coordinates and the “X′-Y ′” If a predetermined coordinate conversion is performed with respect to the “−Z ′” coordinate, a two-dimensional image corresponding to, for example, a video camera image can be extracted based on the three-dimensional medical image. This coordinate conversion is performed by the method proposed in Japanese Patent Application No. 7-337256.
[0021]
Here, a method of applying the coordinate transformation of Japanese Patent Application No. 7-337256 to this embodiment will be described.
The coordinate conversion unit 7 extracts the outer shape (outer shape contour) of the temporal region of the subject H from the three-dimensional medical image TD (see FIG. 3B), and this extracted image and the video camera 2a are shooting in real time. The positional relationship between the three-dimensional medical image TD and the two-dimensional image SD is obtained by obtaining the correlation with the external shape (shape information) of the subject H (see FIG. 3A).
[0022]
Next, how to obtain this positional relationship will be described.
First, in order to extract the outer contour (FIG. 3B) of the subject H from the three-dimensional medical image TD, the substantial part of the subject H and other background ( Distinguish the air part. The threshold is determined by obtaining a histogram of the three-dimensional medical image TD (graphing the distribution of the number of pixels with respect to the signal value of the image) and calculating from the following formula using the mode value of the background portion and the half-value width of the peak of the background portion. To do.
[0023]
[Expression 1]
Threshold = mode value of background portion + k × half-value width k of peak value of background portion: experience value When the signal value of the substantial part of the subject H is larger than the signal value of the background,
k = 2.5.
[0024]
By assigning “1” to a pixel having a value higher than the threshold in the three-dimensional medical image TD and assigning “0” to a pixel having a value lower than the threshold, the substantial part and the background (air) part of the subject H are “ They are distinguished by a value of “1” or “0”.
By extracting the boundary between “1” and “0” of the three-dimensional medical image TD represented by “1” or “0”, the outer shape of the subject H can be extracted (see FIG. 3B). . The boundary extraction method is often introduced in literatures related to image processing.
[0025]
The extracted outline of the subject H (see FIG. 3B) is expressed as a set of pixels on the three-dimensional medical image TD. The coordinates of the contour pixel are obtained as follows according to the coordinate system of the three-dimensional medical image TD.
As shown in FIG. 4, the coordinates (0x, 0y, 0z) of the first pixel of the image and 1 in the column direction
[Outside 1]

If it is at the j-th position in the eye and row direction, the coordinates of this pixel are
(0x + Cx * i + Rx * j, 0y + Cy * i + Ry * j,
0z + Cz * i + Rz * j)
It becomes.
[0026]
The correlation between the outer shape on the image and the outer shape of the subject H is calculated as the average or the sum of the squares of the distances between points from each outer contour point on the image to the closest measured outer shape. Therefore, the smaller the correlation value, the more the two outer shapes match.
[0027]
It should be noted that the areas for comparison and correlation must be the same. For example, when the imaging region of the three-dimensional medical image TD covers the entire head from the lower jaw part to the top of the head, the shape measurement can be performed only in a limited region of the front part of the head from the nose to the top of the head. There may be no shape information corresponding to the contour points extracted from the three-dimensional medical image TD. At this time, in order to correspond to the measured shape information, it is necessary to limit the contour points for calculating the correlation.
[0028]
For this, a three-dimensional surface display image (see FIG. 4) created from the three-dimensional medical image TD to be used is created by the image processing unit 6, and this three-dimensional surface display image displayed by the operator on the image display unit 9. The area is selected while watching. As a region selection means, a region (circular, rectangular, free shape) on the image display unit 9 is designated by the mouse 10 shown in FIG.
[0029]
Next, based on the correlation between the shapes obtained as described above, the positional relationship between the three-dimensional medical image TD and the two-dimensional image SD is derived as follows.
The three-dimensional medical image TD exists in a coordinate system (XYZ) based on the medical image diagnostic apparatus 12, and the two-dimensional image SD exists in a coordinate system (X′-Y′-Z ′) based on the camera 2a. .
[0030]
[Outside 2]

In the case where all of the standard systems are coordinate systems of actual dimensions, the transformation matrix is expressed by rotation in the triaxial direction and translation in the triaxial direction.
[0031]
[Outside 3]

Here, P _i is the contour pixel extracted from the three-dimensional medical image TD, and the coordinate of this pixel is the position vector.

The point of the measurement outline closest to the coordinates of the selected point is searched, and the distance between the two points is calculated.
[0032]
This processing is performed for all the contour pixels in the designated area, and the correlation value C is calculated.
[0033]
[Outside 5]

Is called optimization, and various methods such as the steepest descent method, the annealing method, and the downhill simplex method have been proposed so far. Any of these already proposed methods may be used as an optimization method.
[0034]
(2) Camera Image Distortion The camera image (two-dimensional image) SD includes distortion of the lens system and distortion caused by perspective projection determined by the focal position (for example, the distance looks small and the distance looks large). Accordingly, the coordinate transformation between the coordinate system of the three-dimensional medical image TD and the coordinate system of the camera image SD is not a transformation that can be simply rotated and translated, but a transformation that includes distortion correction.
In general, various methods have been proposed for geometric correction of the camera image SD in the field of computer vision such as photo measurement and robot eyes. In many of these methods, a known pattern is photographed for each focal length of each camera, and a correction parameter is mathematically obtained from the shape of the captured pattern (referred to as camera calibration). Since this method is a general method, the method is not particularly limited in this embodiment.
[0035]
(3) Creation of Composite Image FIG. 5 is a flowchart showing a flow of creating a composite image according to this embodiment.
A distortion correction parameter for a lens system such as a microscope, an endoscope, and a video camera to be used is calculated in advance for each focal length, and stored in the distortion data storage unit 4 as a camera information table shown in FIG.
[0036]
As shown in FIG. 5, when the position of the two-dimensional image photographing unit (video camera) 2a is detected by the position detection unit 3 and the position information is input (step S1), the coordinate conversion unit 7 displays the three-dimensional medical image. A transformation matrix between the TD coordinate system (XYZ) and the video camera 2a coordinate system (X′-Y′-Z ′) is calculated (step S2). This calculation is performed by the method described in [(1) Coordinate transformation].
[0037]
Next, when input of camera focus information is instructed (step S3), a correction parameter is read out from a previously created camera information table (see FIG. 6) (step S4). The distortion of the image TD is corrected, and a corrected three-dimensional medical image TDH is generated (as described above, a general distortion correction method may be used).
The corrected 3D medical image TDH and the camera image SD are overlapped by the image combining unit 8 to create a combined image (step S7).
[0038]
(4) Image Display Example A specific example in which the image composition unit 8 performs the process of superimposing the corrected three-dimensional medical image TDH and the camera image SD on the basis of the above flow and further displays the image on the image display unit 9 will be described. .
[0039]
(1) FIGS. 7A and 7B show a surface display image (shown by diagonal lines) based on a three-dimensional medical image (medical image) TD created by performing the above-described coordinate transformation and distortion correction, and a camera image ( It is a composite display example with a two-dimensional image) SD.
[0040]
FIG. 7A shows an example in which both the surface display image and the camera image (two-dimensional image) are displayed in a superimposed manner, and the region to be superimposed is set by designation with a mouse cursor. The shape of the overlapping area can be arbitrarily set to a rectangle, a circle, a polygon, etc., and the overlapping area is displayed as a semi-transparent composite image of both images. The transparency / opacity of both images can be continuously changed by moving the synthesis level slider 21 left and right.
[0041]
FIG. 7B shows an example in which both images are displayed side by side. When the mouse cursor is moved on one of the images, a mark indicating the same position as the mouse cursor is displayed on the other image (indicated by a + mark). In this way, the positional relationship between the two images can be understood at a glance.
[0042]
(2) FIGS. 8A and 8B are examples of composite display of a cross-sectional display image based on a three-dimensional medical image created by performing coordinate conversion and distortion correction, and a camera image.
[0043]
FIG. 8A shows an example in which both images are displayed in an overlapped manner, and the overlapping region is set by a mouse cursor and

sliders

22a, 22b, and 22c corresponding to the xyz axes, respectively.
In FIG. 8A, the cross-sectional shape to be cut out is a box shape (cube), but it may be a cylindrical shape or the like.
Also, the synthesis area can be rotated by mouse dragging.
[0044]
FIG. 8B shows an example in which both images are displayed side by side.
In FIG. 8B, when the mouse cursor is moved on the camera image, orthogonal sections A and B (A section and B section) passing through the position specified by the mouse cursor and a section perpendicular to the direction of the camera image are displayed simultaneously. (Shown with diagonal lines).
Further, the position of the vertical section (the distance from the camera 2 a in FIG. 2) can be set by operating the slider 23.
Further, a mark (in this example, a + mark) is displayed on each cross section at a position corresponding to the mouse cursor.
[0045]
(3) FIG. 9 shows a guide screen (indicated by reference symbol M1) indicating the camera direction and the position and depth of the composite area in the case of superimposed display of a camera image and a cross-sectional image or surface display image (indicated by reference symbol L1). This is an example in which (
[0046]
In FIG. 9, in the medical image (shown by diagonal lines in this case, a cross-sectional image) on the overlay screen L1, it is unknown how deep the head is when viewed from the direction of the eyes and nose. Therefore, a surface display image of the temporal region is prepared as the guide screen M1, and the installation direction of the camera 2a is indicated by an arrow, and the depth of the cross-sectional image is indicated by a symbol K11 by a U-shaped mark K1.
In this way, it is possible to know at a glance how deep the medical image (surface display image or cross-sectional image) is.
[0047]
(4) FIG. 10 shows that when a camera image and a surface display image are displayed in parallel (reference characters L2 and M2), for example, when a planned line 31 for surgery is drawn on one image, In the example, the same schedule line 32 is drawn.
By the display as described in (1) to (4) above, an image of the subject H (two-dimensional image) obtained by the camera 2a and a medical image (three-dimensional medical image) TD taken in advance are displayed. Since it can be observed in association with each other without any deviation or error, it is effective in assisting surgery.
[0048]
In the present embodiment, the synthesis process of the real-time 2D image captured by the 2D image capturing unit (video camera) 2 and the 3D medical image stored in the image storage unit 4 has been described. However, instead of a real-time two-dimensional image, a two-dimensional image photographed by a two-dimensional image photographing means (endoscope, microscope, video camera, etc.) is stored in advance in a two-dimensional image storage means (not shown). Alternatively, the two-dimensional image may be taken out from the two-dimensional image storage means and the above-described synthesis process may be performed with the three-dimensional medical image.
[0049]
【The invention's effect】
As described above, according to the invention described in each claim, when a three-dimensional medical image and a two-dimensional image are displayed simultaneously or synthesized , a shift between images caused by the two-dimensional image is suppressed , and the subject It is possible to provide a medical image synthesizer that can easily obtain useful information on a desired affected part of a patient.
[Brief description of the drawings]
FIG. 1 is a system configuration diagram of an embodiment of the present invention.
FIG. 2 is a conceptual diagram showing coordinate transformation in the same embodiment example;
3A and 3B are diagrams of a subject in the same embodiment example, where FIG. 3A is a diagram illustrating shape information captured by a video camera, and FIG. 3B is a diagram illustrating an outer contour extracted from a three-dimensional medical image; .
FIG. 4 is a diagram showing a coordinate system of medical images in the prior application.
FIG. 5 is a flowchart showing a composite image generation process in the embodiment.
FIG. 6 is an example of a camera correction information table in the embodiment.
FIG. 7 is a diagram for explaining synthesis of a camera image and a surface display image in the embodiment.
FIG. 8 is a diagram for explaining synthesis of a camera image and a cross-sectional image in the embodiment.
FIG. 9 is a diagram for explaining how deep a cross-sectional image is in a surface display image when a camera image and a medical image (cross-sectional image) are combined in the embodiment.
FIG. 10 is a diagram for explaining a state in which an operation schedule line is automatically drawn on a corresponding surface display image when an operation schedule line is drawn on the camera image in the embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 System controller 2 Two-dimensional image imaging part 3 Position detection part 4 Distortion data storage part 5 Image storage part 6 Image processing part 7 Coordinate conversion part 8 Image composition part 9 Image display part 10 Mouse 11 Bus 12 Medical image diagnostic apparatus

Claims

Three-dimensional medical image storage means for storing a three-dimensional medical image of a subject imaged by the medical image diagnostic apparatus;
Two-dimensional image supply means for supplying a two-dimensional image of the same subject as the subject;
Position detection means for detecting the position of the two-dimensional image supplied from the two-dimensional image supply means with respect to the subject;
Coordinate conversion means for converting the coordinates of the three-dimensional medical image so as to be the same position as the position of the subject detected by the position detection means;
Distortion data storage means for storing data relating to distortion caused by the inherent perspective projection of the two-dimensional image supplied from the two-dimensional image supply means;
3D medical image correction means for correcting distortion of the 3D medical image after the coordinate conversion based on the distortion data stored in the distortion data storage means;
A medical device comprising: a display means for displaying a 3D medical image corrected by the 3D medical image correcting means and a 2D image supplied from the 2D image supply means simultaneously or in combination. Image composition device.

2. The medical image synthesizing apparatus according to claim 1, wherein the two-dimensional image supply unit is a two-dimensional image storage unit that stores a two-dimensional image.

2. The medical image synthesizing apparatus according to claim 1, wherein the two-dimensional image supply means is a two-dimensional image photographing means for photographing and supplying a two-dimensional image.

When the two-dimensional image and the corrected three-dimensional medical image are displayed simultaneously or combined on the display means, a combining region for arbitrarily setting a combining region of the two-dimensional image and the corrected three-dimensional medical image 4. The medical image synthesizing apparatus according to claim 1, further comprising an area setting unit.

A composition for arbitrarily setting a composition ratio of the two-dimensional image and the corrected three-dimensional medical image when the two-dimensional image and the corrected three-dimensional medical image are displayed on the display means simultaneously or combined. 4. The medical image composition apparatus according to claim 1, further comprising a ratio setting unit.

When the two-dimensional image and the corrected three-dimensional medical image are displayed simultaneously or combined on the display means, a specific part on one of the two-dimensional image and the corrected three-dimensional medical image is displayed. The medical image composition apparatus according to claim 1, further comprising: a mark display control unit that displays a mark on the other image corresponding to the specific part when an image is designated.

4. The medical image composition according to claim 1, wherein the two-dimensional image and at least one cross-sectional image created from the corrected three-dimensional medical image are displayed on the display means simultaneously or in combination. apparatus.

4. The medical image synthesizing apparatus according to claim 1, wherein a guide screen indicating a shooting direction or depth of the two-dimensional image is displayed on the display means.