JP4152402B2 - 手術支援装置 - Google Patents

Description

本発明は、内視鏡を用いた手術を表示画像によって支援する高機能内視鏡手術支援装置に関し、特にＭＲＩ装置やＣＴ装置などの撮像装置と組合わせた手術支援装置に関する。

近年、医療行為、特に外科的治療において内視鏡や手術ロボットなどを用いてその実施を支援する手術支援装置が開発され、実用化されている。例えば、特許文献１には、カメラで撮像された画像に、３次元画像から術式対象部位を抽出して得られた３Ｄデータを、カメラの向きや位置に合わせて投影処理して表示することや、術具を操作するためのマニピュレータの位置、向きを計測し、撮像部で得られた画像にマニピュレータの３Ｄ画像を投影処理して表示することが記載されている。また特許文献２には、内視鏡画像上に、手術支援画像作成手段で作成された情報を重畳して表示することが記載され、手術支援画像には手術器具とマニピュレータの可動範囲を示すことが記載されている。
特開平9-19441号公報 特開2001-104333号公報

上述のような手術支援システムを利用した外科的治療においては、術具や内視鏡の位置はそれぞれ時々刻々変化し、内視鏡の映像もこれに伴い変化する。また内視鏡を配置する位置を適宜変更する場合もある。しかし従来の技術では、手術支援画像の作成後に術具や内視鏡の位置が変更されると、改めて内視鏡位置に合わせて手術支援画像を作成し直すとともに、これらの位置を調整して表示する必要があり、内視鏡位置や術具位置の変化に応じたリアルタイムな支援画像の表示が困難であった。同じ理由から、内視鏡を含めた特定術具と被検体の特定領域（例えば、術具が接触してはならない部位）との距離などをリアルタイムで確認することも困難であった。

そこで本発明は、内視鏡や術具の変化に応じてリアルタイムで、内視鏡映像に、その位置における手術対象領域の画像を重畳して表示することが可能であり、また特定術具と被検体の特定領域との距離をリアルタイムで表示することが可能である手術支援装置を提供することを目的とする。

上記課題を解決する本発明の手術支援装置は、内視鏡と、前記内視鏡の映像を表示する表示手段と、前記被検体の三次元ボリューム画像データを用いて、前記表示手段に表示された映像に重畳表示される手術支援画像を作成する画像作成手段とを備えた手術支援装置であって、前記内視鏡の位置を逐次検出する三次元位置検出手段と、前記三次元位置検出手段の座標と前記画像作成手段が有する画像座標とを座標統合する座標統合手段とを備え、前記画像作成手段は、前記座標統合手段から得られる内視鏡の位置情報をもとに、前記三次元ボリューム画像データから抽出した特定領域画像データについて、前記内視鏡の位置情報で決まる特定の平面を投影面とする投影像を作成し、内視鏡位置検出時点における内視鏡の映像に重畳して表示させることを特徴とする。

本発明の手術支援装置において、画像作成手段が作成する投影像は、例えば、内視鏡の焦点位置を含み、内視鏡の進行方向に直交する面への投影像である。
また本発明の手術支援装置において、好適には、三次元位置検出手段は、被検体に対し適用されている術具の位置を検出し、画像作成手段は、三次元位置検出手段で検出され、前記座標統合手段で変換された術具の位置情報に基き、術具の画像を検出術具位置に対応する手術支援画像上の位置に重畳して前記表示手段に表示させる。

本発明の手術支援装置において、画像作成手段は、内視鏡の移動に伴う内視鏡映像の変化に合わせて、投影像の投影面をリアルタイムで変更して特定領域の投影像を作成し、表示装置に表示させる。
また本発明の手術支援装置は、好適には、特定領域と術具との距離を算出する算出手段を備え、算出手段によって算出された距離及び／又は当該距離が閾値以内であるときの警告を表示装置に表示させる。
本発明の手術支援装置は、さらに三次元ボリューム画像データを取得する撮像手段を備えており、その場合、撮像手段は、画像作成手段を兼ねることができる。

本発明によれば、内視鏡の位置を三次元位置検出手段により逐次検出するとともに、検出された位置情報は、座標統合手段によって、手術支援画像を作成する画像作成手段の座標と統一的な座標の情報として画像作成手段に与えられるので、画像作成手段は内視鏡の位置や向きの変化に応じて、内視鏡位置と実空間における相対位置を保った状態で特定領域画像をリアルタイムで重畳表示させることができる。これにより手術支援として必要な情報を術者に提供し、治療の精度を向上させることができる。また内視鏡に重畳される特定領域画像は、実空間における相対位置を維持しているので、術具との距離の算出を手術支援画像表示と併せて行なうことができ、術具が接触してはならない血管や臓器に接近したことなどを速やかに警告することができる。

また本発明によれば、ＭＲＩ装置やＣＴ装置などの撮像装置が画像作成手段を兼ねることができ、その場合、内視鏡位置を検出するための三次元位置検出手段を利用して、指示具で指定された被検体の所望部位を撮像するインタラクティブスキャンなどの撮像を適時行なうことができる。

以下、本発明の実施の形態を、図面を参照して説明する。
図１は、本発明の高機能内視鏡手術支援装置の全体構成を示す斜視図、図２はブロック図である。この手術支援装置は、ＭＲＩ装置等の撮像装置による画像を手術支援画像の一つとして利用しながら、内視鏡と小型ロボットを用いて患者の外科的治療を行なうための装置であり、主たる構成として、被検体の断層像を撮像するための撮像装置１０、被検体の手術対象部位を観察するための内視鏡２０、術具を操作するための手術用小型ロボット３０、内視鏡２０及びロボット３０に操作される術具の位置を検出するための三次元位置検出装置４０、内視鏡の映像に重畳される手術支援画像を作成する画像作成部５０、内視鏡の映像や手術支援画像を表示するための表示装置７０、表示装置７０の表示制御などを行なう制御部６０を備えている。撮像装置１０、内視鏡２０及びロボット３０には、それぞれ操作者が動作の指令や条件を入力するための操作部８０（８１、８２、８３）が備えられている。

撮像装置１０は、図１に示す実施の形態では、撮像空間を挟んで上下に一対の磁石１３、１５を配置した垂直磁場方式のオープン型のＭＲＩ装置であり、被検体１１を載せたベッド１２を撮像空間に配置した状態で、手術を施すことができるようになっている。ＭＲＩ装置の構成及び撮像方法は、従来のＭＲＩ装置と同様であり、ここでは説明を省略する。

内視鏡２０は、スコープ部と画像処理部とを有する。スコープ部は、被検体１１の被検体の内部に挿入される対物レンズおよび小型カメラを含む。画像処理部は、小型カメラで撮像された画像データを取り込んで映像記録装置２１に記録するとともに、制御部６０に受け渡し、内視鏡映像として表示装置７０に表示させる。内視鏡２０は、単一のカメラを搭載した単眼内視鏡、一対のカメラを搭載したステレオ内視鏡のいずれでもよく、表示装置７０として２視点ステレオ映像表示対応しているものを使用する場合には、両者に対応することができる。内視鏡２０は、ＭＲＩ装置に取り付けた駆動機構に固定され、操作部８３からの操作により、回転、並進などの動作を行なうことができる。また内視鏡２０には、このような内視鏡の動作に追従して移動する器具であって三次元位置検出装置４０によって位置検出可能な器具（術具追随器具）（図示せず）が取り付けられている。

小型ロボット３０は、互いに回動可能に連結された複数のロボットアームを有し、これらロボットアームの連結角度を変えることにより、その先端に固定されたメスなどの術具を任意の方向に任意の量だけ移動・回転させることができるようになっている。ロボット３０にも、その動作に追従して移動する器具であって三次元位置検出装置４０によって位置検出可能な器具（術具追随器具）が取り付けられている。

内視鏡２０及びロボット（ロボットアーム）３０を駆動するための機構として、ＭＲＩ装置１０のベッド１２には、その両側縁に沿ってレールが取り付けられると共に、レールに沿って移動可能な円弧状のアーム（内視鏡用アーム２５及びロボット用アーム３５）が取り付けられている。内視鏡２０のスコープ部及びロボットアームはこのアームに取り付けられる。手術に使用する術具が複数ある場合には、１ないし複数のアームに、複数のロボットが取り付けられる。図１に示す例では、一つのアームに２つの術具が固定されている。

三次元位置検出装置４０は、これら内視鏡２０及びロボット３０に固定された術具追随器具の実空間における位置を検出するためのものであり、この実施の形態では、一対の赤外線カメラ４１を備えた位置検出デバイス４２と、位置検出デバイス４２が検出した位置信号に対し、所定の座標変換等の処理を行なう処理部４３とを備えている。

位置検出デバイス４２は、赤外線を発生する赤外線源を備え、赤外線源から照射され、所定の反射体（マーカー）から反射された赤外線を検出することによって、その反射体が付された対象の位置を検出することができるようになっている。前述した内視鏡及びロボットに固定される術具追随器具には、少なくとも３箇所にマーカーが固定されており、マーカーから得られる３つの位置座標から、例えば器具が固定された内視鏡先端の位置や内視鏡の方向などの三次元位置情報を得ることができる。位置検出デバイス４２は、ＭＲＩ装置１０の上部磁石１３を覆うガントリに、支持アーム４５により固定されており、支持アーム４５を移動することにより任意の位置に設定することができる。

またＭＲＩ装置１０のガントリには、赤外線カメラ４１が捉えたカメラ座標における方向及び位置を、ＭＲＩ装置の装置座標系（実空間座標）と関連付けるために、基準ツール４７が固定されている。基準ツール４７には、赤外線カメラ４１で位置検出可能な３つのマーカー（例えば、赤外線カメラが発する赤外線を反射する反射球）４８が固定されている。これら３つのマーカーの位置を検出することにより、装置座標の原点に対するカメラの三次元位置を検出することができ、カメラ座標と装置座標との関連付けを行なうことができる。赤外線カメラ４１は、所定のサンプリング速度で検出した位置情報を処理部４３に送る。処理部４３は、位置検出デバイス４２が検出した位置情報（カメラ座標の位置情報）を装置座標系の位置情報に変換する。座標変換のための座標変換マトリクスは予め処理部４３内に格納されており、位置検出デバイス４２による位置検出と同時に座標変換された位置情報が得られる。処理部４３は、例えば、パーソナルコンピュータ上に構築することが可能である。

画像作成部５０は、ＭＲＩ装置１０で撮像された被検体１０の三次元画像データを処理し、被検体の特定領域を抽出した三次元セグメンテーション画像データ（以下、３Ｄ−ＳＧ画像データと略す）を作成するとともに、三次元位置検出装置４０から得られる内視鏡２０位置に基き、３Ｄ−ＳＧ画像データに投影処理を施し、手術支援画像を作成する。また画像作成部５０は、予め登録された術具の画像（仮想術具）を作成し、三次元位置検出装置４０から得られる術具位置に基き、手術支援画像を作成する。画像作成部５０は、予め複数の術具について作成された仮想術具データを記憶しておき、手術に用いる術具が選択され、登録された場合に、記憶された仮想術具データのうち該当する仮想術具データを用いるようにすることできる。仮想術具データは、術具を模式的に示す２次元データでもよいが、三次元データでもよく、その場合はＳＧ画像データと同様に投影処理を施す。

制御部６０は、表示制御部６１、距離算出部６２などを有する。表示制御部６１は、画像作成部５０で作成された手術支援画像を内視鏡の映像に重畳して、表示装置７０に表示させるとともに、距離算出部６２における算出結果やそれに伴う警告などを表示装置７０に表示させる。距離算出部６２は、三次元位置検出装置４０から得られる術具位置と、被検体の特定領域との距離を算出する。この際、術具位置は装置座標系の位置に変換された情報として与えられ、一方、特定領域の位置（画像座標）はＭＲＩ装置の装置座標と関連付けられているので、距離算出部６２はこれらの位置情報から直ちに両者の距離を算出することができる。ユーザーは、予め術具との距離を算出すべき特定領域を選択し、設定することが可能であり、また警告を表示させる場合には、警告を発すべき閾値を設定することが可能になっている。

このような制御部６０の機能は、ＭＲＩ装置１０とは独立していてもよいが、ＭＲＩ装置１０が備えている制御部がそれを兼ねることができる。また制御部６０は、ユーザーが種々の条件や指令を入力するための操作部を備えている。ＭＲＩ装置１０の制御部が制御部６０を兼ねる場合には、ＭＲＩ装置１０の操作部８１より上記指令等を入力する。

表示装置７０は、１ないし複数のモニタを備えている。本実施の形態では、操作者用モニタ７１と手術室用モニタ７２が設置されている。操作者用モニタ７１は、入力部（操作部８１）のＧＵＩ等を表示させるためのモニタを兼ねることができる。

次に上記構成における手術支援装置の動作を説明する。図３は本実施の形態の手術支援装置を用いた内視鏡手術の手順を示すフローの一例である。
手術の準備段階として、まず内視鏡２０及びロボットアームに術具追随器具を取り付けた後（ステップ１０１、１０２）、内視鏡及びロボットアームをＭＲＩ装置内部に設置する（ステップ１０３）。次いでＭＲＩ装置により被検体の撮像を行い、手術対象部位を含む被検体の領域について三次元ボリューム画像を得る（ステップ１０４）。この三次元ボリューム画像を用いて必要部位のセグメンテーションを行なう（ステップ１０５）。

セグメンテーションは、領域抽出として知られている公知の手法、例えば領域の輪郭上の点列を指定し、その間をスプライン補間してつなげる方式や閾値方式などを採用することができる。またスライス間のデータについてもスプライン補間等を行うことができる。三次元ボリューム画像は、図４に示すように、スライス面とスライス方向の位置で決まるDICOMデータであり、このようなセグメンテーションの結果である特定領域画像データ（３Ｄ−ＳＧ画像データ）４０１、４０２、４０３もDICOMデータである。DICOM座標は、ＭＲＩ装置の装置座標と関連付けられているので、装置座標上の位置がわかれば、それに対応するDICOMデータ上の座標が決まる。セグメンテーションは、例えば、手術対象臓器や、その近傍の臓器や血管について行なわれ、各３Ｄ−ＳＧ画像データは画像形成部５０のメモリ内に格納される。図示する例では、３つの部位４０４〜４０６についてそれぞれ３Ｄ−ＳＧ画像データ４０１、４０２、４０３が作成されている。

次に三次元ボリューム画像を用いて、内視鏡２０とロボットアームのレジストレーションを行なう（ステップ１０６）。レジストレーションは、三次元位置検出装置４０の処理部４３に、内視鏡２０及びロボットアームに取り付けた術具追随器具（そのマーカー）の位置を装置座標（実空間座標）に統合する作業である。具体的には、基準ツール４７（３つのマーカー）の位置と内視鏡２０及びロボットアームに固定された術具追随器具（３つのマーカー）の位置をそれぞれ三次元位置検出装置４０で検出することにより、術具追随器具の装置座標系における位置を検出する。一方、術具追随器具のマーカーと内視鏡２０の焦点やロボットアームに固定された術具（メス等）の先端との位置関係を入力することによって、マーカーの配置や監視すべき点とマーカーとの位置関係を処理部４３に記憶させる。このようなレジストレーションを行なうことにより、その後は、術具追随器具の各マーカーの位置を検出することによって、内視鏡２０や術具の実空間座標における位置、向きを検出することができる。

このような準備ステップが終了したならば、内視鏡を用いたロボット手術を開始する（ステップ１０７）。内視鏡及びロボットの動きは、三次元位置検出装置４０により随時検出され、その位置情報は画像座標に変換された位置情報として画像作成部５０に送られる。画像作成部５０は、三次元位置検出装置４０から送られる内視鏡の向きとその焦点位置をもとに、メモリに記憶されている３Ｄ−ＳＧ画像データから投影像（レンダリング像）を作成する。投影像の投影面は、例えば内視鏡焦点を中心とし、内視鏡の向きと直交する平面である。図４に、３Ｄ−ＳＧ画像データから投影像としてのセグメンテーション画像４０８〜４１０を作成した様子を示す。また画像作成部５０は、ロボットアームの向きと位置情報をもとに画像空間に仮想術具を配置した画像４０７を作成する。仮想術具データが三次元データである場合には、セグメンテーション画像と同じ投影面に投影した投影像を作成する。

表示制御部６１は、画像形成部５０で作成された手術支援画像を内視鏡の映像に重畳して表示装置７０に表示する（４１２〜４１４）。この際、投影像の大きさは、内視鏡の倍率に合わせる。内視鏡の倍率が「×１」の場合には、投影像の大きさは実空間の大きさと同じであり、「×２」の場合には、実空間の２倍となる。セグメンテーション画像及び仮想術具を内視鏡の映像に重畳表示した様子を図５に示す。内視鏡及び仮想術具の位置の座標は、ＭＲＩ装置の装置座標に統合されているので、図示するように、セグメンテーション画像５０３、仮想術具５０４、５０５及び内視鏡５０２がそれぞれ実空間上の相対位置を保った状態で、内視鏡映像５０６に手術支援画像（５０７、５０８、５０９）として表示される。
このようなセグメンテーション画像からの投影像の作成と重畳表示は、内視鏡及びロボットの位置の逐次検出に合わせて実行される。即ち、内視鏡が移動するのに伴い内視鏡の映像は変化するので、変化した位置におけるセグメンテーション画像及び仮想術具が作成され重畳表示されることになる。

一例として、図６に示すように、被検体６０１の手術対象部位（ターゲット）６０２に対し、その足側から内視鏡６０３を設置している場合には、内視鏡６０３とターゲット６０２との関係は装置座標系で一義的に定義されており、内視鏡位置で決まる所定の面を投影面として投影像６０５が作成され、内視鏡映像６０６に重畳されているが、内視鏡６０３を頭部側から設置した場合には、装置座標系における内視鏡６０３の位置座標は変更され、新たな投影面への投影像６１０が作成され、内視鏡映像６１１に重畳される。即ち、常に内視鏡により映し出される映像と同じ側からの投影像が重畳表示される。

また術具位置が変化した場合にも、その変化した位置に対応する映像上の位置に仮想術具が表示される。この場合、内視鏡及び仮想術具の位置の座標は、ＭＲＩ装置の装置座標に統合されているので、リアルタイムで画像処理を行なうことができる。
またセグメンテーション画像（投影像）は平面画像であるが、各臓器や部位が三次元的に描出された画像である。従って術者は、内視鏡に映し出されている映像において、セグメンテーションされた臓器や部位の三次元的位置関係を容易に把握することができる。

図４では、３つのセグメンテーション画像が作成され、表示される様子を示しているが、セグメンテーション画像の作成、表示は、必要に応じて選択することができる（ステップ１０９）。例えば、内視鏡の進行するにつれて、術具との関係で接触してはいけない血管や臓器は異なる場合がある。その場合には、術者が操作部８１を介して表示させたいセグメンテーション画像を選択することにより、選択されたセグメンテーション画像を表示させる。或いはセグメンテーション画像全体を非表示とすることも可能である。

また距離算出部６２は、三次元位置検出装置４０から得られるロボットアームの位置をもとに、それに固定された術具と被検体の特定領域（ユーザーにより予め特定された領域）との距離を算出し、これを表示装置７０に表示させる（ステップ１１０）。距離の算出は、実空間座標における術具の位置情報と特定領域のセグメント画像の位置情報から行なうことができる。算出された距離が、予め設定された閾値以下になったときには、警告を画像や音声で発する（ステップ１１１）。

さらに本実施の形態では、ユーザーの選択によりインタラクティブスキャンを実行する（ステップ１１２）。インタラクティブスキャンとは、ユーザーが指示具によって指定した被検体上の位置を含む断層像をリアルタイムで撮像する機能である。通常、ＭＲＩ装置においては、三次元位置検出器で検出可能な指示具で所望の位置を指定し、この位置情報をＭＲＩ装置が受け付け、指示具の指示方向を含む断面の撮像を行なう。ここではロボットアームが三次元位置検出器で検出可能な術具追随器具を備えているので、この器具を指示具としてインタラクティブスキャンを実行することが可能となる。インタラクティブスキャンによって撮像された断層像は、表示装置７０に内視鏡映像と並置して表示させることができる。

内視鏡映像及びそれに重畳される投影像は、内視鏡を視点とした画像であるが、インタラクティグスキャンによって得られる断層像は、それとは異なる面をスライス面とする画像であり、ロボットアームの向きを変えることにより任意の方向に選択することができるので、例えば、内視鏡の陰になって見え難い部位や内視鏡では見えない内部の組織も画像化することができる。これにより術者は内視鏡映像と併せて多面的な情報を得ることができ、手術精度の向上につながる。

なお図３に示すフローには示していないが、本実施の形態では、必要に応じて三次元ボリュームデータを用いた手術ナビゲーションを行なうことも可能である。手術ナビゲーションは、手術支援機能として公知の技術であり、三次元位置検出器で検出可能な指示具で被検体の所望の位置を指定することにより、予め取得した三次元ボリューム画像から指定された位置を含む断面像を作成し表示する機能である。この場合にも、指示具の代わりにロボットアームを用いることが可能である。

上述のようなインタラクティブや手術ナビゲーションを適宜実行しながら、手術が終了するまで、内視鏡に重畳した手術支援画像のリアルタイム更新、表示を繰り返す（ステップ１１３）。

次に本実施の形態を実行するためのＧＵＩの一例を図７に示す。図示する例では、画面７０１のほぼ中央に内視鏡の映像が映し出され、ここには２つの術具７１３、７１４とセグメンテーション画像７０８が重畳表示されている。

映像表示画面の右側には、警告表示画面７０２、距離表示画面７０３、三次元表示画面７０４が設けられている。警告表示画面７０２には、例えば一つの術具が特定の領域に近づいていることを警告音とともに文字や図形で表示する。距離表示画面７０３には、術具と特定領域との距離が表示される。この表示は距離が変化するのに従い更新される。三次元表示画面７０４には、セグメンテーションの対象である特定領域と術具との実空間における配置が表示される。

映像表示画面の下側７０５には操作画面（ＧＵＩ）が表示されている。「Scan1」「Scan2」７０６は撮像開始の操作ボタンで、複数（ここでは２つ）の撮像方法のうちいずれかを選択できるようになっている。「Segmentation : ON/OFF」７０７は、セグメンテーション画像の表示／非表示を選択するためのボタンで、ここではセグメンテーション画像全体の表示／非表示を選択可能にした場合を示しているが、例えば、三次元表示画面７０４に表示された複数の領域のいずれかを特定して表示／非表示と選択するようにすることも可能である。「Operate Tool : ON/OFF」７１２は、術具の表示／非表示を選択するためのボタンで、この場合にも複数の術具全部の表示／非表示を選択可能にしてもよいし、特定された術具のみの表示／非表示を選択可能にしてもよい。「ISC : ON/OFF」７１７は、インタラクティブスキャンを行なうための操作ボタンであり、「Navigation : ON/OFF」７１７は、ナビゲーションを行なうための操作ボタンである。

操作者は、モニタ２に表示されるＧＵＩを介して、撮像や表示等の指示を与えると共に、モニタに表示された映像や距離などを見ながら手術を進めることができる。

本実施の形態によれば、内視鏡及びロボットアーム（それに固定された術具）の座標が、ＭＲＩ装置の装置座標と統合されているので、内視鏡映像の変化に伴いリアルタイムで手術支援画像を更新して重畳表示することができる。また術具位置と特定領域との距離計算も極めて短時間で行なうことができ、これにより術具が接触してはならない特定部位に近づいた場合にすみやかに警告を発することができる。

なお上記実施の形態では、撮像装置がＭＲＩ装置である場合を例に説明したが撮像装置として、ＭＲＩ装置のほか、ＣＴ装置、ＰＥＴなど他の撮像装置を採用することも可能である。さらに本実施の形態では、ＭＲＩ装置等の撮像装置が組み込まれた手術支援装置を説明したが、本発明の手術支援装置において撮像装置は必須ではなく、画像作成部は、撮像装置で撮像された三次元ボリューム画像データを取り込んで、手術支援画像を作成することも可能である。この場合には、三次元ボリューム画像の座標と手術が行われる実空間座標との関連付けを行なっておくことが必要である。このような関連付けは、例えば、被検体に三次元ボリューム画像を撮像する撮像装置で検出可能なマーカーを固定した状態で撮像を行い、手術が行われる実空間において、三次元位置検出器で被検体に固定されたマーカーの位置を検出することにより行なうことが可能である。

また本実施の形態では、術具を固定したロボットの位置検出を、内視鏡位置を検出する三次元位置検出器で行なう場合を説明したが、ロボットの制御系でロボットアームの位置情報を持っている場合には、その位置情報を利用することも可能である。この場合にもロボットアームの位置を三次元位置検出器で検出可能な指示具を利用して三次元位置検出器の処理部に登録し、ロボット座標と三次元位置検出装置の座標との座標変換マトリクスを作成しておくことにより、ロボット位置を三次元位置検出装置で検出する場合と同様に、ロボット制御系からの位置情報を用いて手術支援画像の作成と内視鏡画像への重畳表示が可能となる。

本発明の手術支援装置の全体外観を模式的に示す図 本発明の手術支援装置の一実施の形態を示すブロック図 本発明の手術支援装置を用いた手術手順を示すフロー図 画像作成部におけるセグメンテーション及び投影処理を説明する図 画像作成部が作成した手術支援画像と内視鏡映像との重畳を説明する図 内視鏡位置の変更と投影処理との関係を説明する図 本発明の手術支援装置における操作部のＧＵＩの一例を示す図

符号の説明

１０・・・撮像装置
２０・・・内視鏡
３０・・・手術用小型ロボット
４０・・・三次元位置検出装置
５０・・・画像作成部
６０・・・制御部
７０・・・表示装置
８０・・・操作部

Claims (7)

1. 内視鏡と、
   前記内視鏡の映像を表示する表示手段と、
   被検体の三次元ボリューム画像データを用いて、前記表示手段に表示された映像に重畳表示される手術支援画像を作成する画像作成手段とを備えた手術支援装置であって、
   前記内視鏡の位置を逐次検出する三次元位置検出手段と、
   前記三次元位置検出手段の座標と前記画像作成手段が有する画像座標とを座標統合する座標統合手段とを備え、
   前記画像作成手段は、前記三次元ボリューム画像データから抽出した各臓器や部位の三次元特定領域画像データを前記画像座標に格納するメモリを有し、前記三次元特定領域画像データのうち所望の臓器や部位の画像データの表示の選択を受け付け、前記座標統合手段から得られる内視鏡の位置情報をもとに、表示の選択を受け付けた三次元特定領域画像データについて、前記内視鏡の位置情報で決まる特定の平面を投影面とする特定領域投影像を作成し、内視鏡位置検出時点における内視鏡の映像に重畳して表示させることを特徴とする手術支援装置。
2. 請求項１記載の手術支援装置であって、
   前記画像作成手段が作成する投影像は、前記内視鏡の焦点位置を含み、前記内視鏡の進行方向に直交する面への投影像であることを特徴とする手術支援装置。
3. 請求項１又は２に記載の手術支援装置であって、
   前記三次元位置検出手段は、前記被検体に対し適用されている術具の位置を検出し、
   前記画像作成手段は、前記三次元位置検出手段で検出され、前記座標統合手段で変換された術具の位置情報に基き、前記術具の画像を検出術具位置に対応する手術支援画像上の位置に重畳して前記表示手段に表示させることを特徴とする手術支援装置。
4. 請求項１ないし３いずれか１項に記載の手術支援装置であって、
   前記画像作成手段は、内視鏡の移動に伴う内視鏡映像の変化に合わせて、前記投影像の投影面をリアルタイムで変更して前記特定領域の投影像を作成し、前記表示装置に表示させることを特徴とする手術支援装置。
5. 請求項１ないし４いずれか１項に記載の手術支援装置であって
   前記特定領域と術具との距離を算出する算出手段を備え、
   前記算出手段によって算出された距離及び／又は当該距離が閾値以内であるときの警告を前記表示装置に表示させることを特徴とする手術支援装置。
6. 請求項１ないし５いずれか１項に記載の手術支援装置であって、
   さらに前記三次元ボリューム画像データを取得する撮像手段を備えたことを特徴とする手術支援装置。
7. 請求項６記載の手術支援装置であって、
   前記撮像手段は、前記画像作成手段を兼ねることを特徴とする手術支援装置。

Images