JP2012024518A - 内視鏡観察を支援する装置および方法、並びに、プログラム - Google Patents

Abstract

【課題】被検体の管状組織に挿入された内視鏡の管状組織内での位置を把握する。
【解決手段】 予め取得した被検体の３次元画像から被検体の管状組織の中心線Ｌを取得し、前記管状組織に挿入された内視鏡を前記管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示し、表示された前記内視鏡画像に前記管状組織の１つの特徴領域が表示されたときに、前記内視鏡の基準位置を入力するとともに前記中心線Ｌ上に前記１つの特徴領域に対応する位置Ｑ１を設定し、前記基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得し、前記１つの特徴領域に対応する位置Ｑ１から、前記中心線に沿って、前記取得した進行方向に前記取得した移動量だけ離れた位置を現在位置Ｑ２として算出し、算出された現在位置Ｑ２を表す指標Ｍを前記中心線Ｌ上に表示させる。
【選択図】図６Ａ

Description

本発明は、被検体の管状組織に挿入された内視鏡下での手術や検査等における、内視鏡観察を支援する技術に関するものであり、特に、被検体の管状組織を表す仮想内視鏡画像を用いて内視鏡観察を支援する技術に関するものである。

近年、患者の大腸や気管支等の管状組織を内視鏡を用いて観察または処置を行う技術が注目されている。医師らは、内視鏡により撮影された内視鏡画像上で管状組織内の湾曲部や分岐部を目印としつつ、所望の部位まで内視鏡を目的の位置まで移動させて、内視鏡により撮影された内視鏡画像により観察等を行う。しかし、複雑な構造をした管状組織では、管状組織内の湾曲部や分岐部等の特徴のある部分以外は同じような光景が続くため、管状組織内の位置を正確に把握することが難しい。このことが、医師らによる、複雑な構造の管状組織の壁に衝突させないように管状組織の所望の部位まで円滑に内視鏡を移動させる作業の効率を低減させ、被検体の負担を増加させる一つの要因となっている。このため、内視鏡を所望部位まで内視鏡を円滑に移動するために、管状組織内に挿入された内視鏡の位置の把握を支援する技術が求められている。

例えば、ＣＴ等での撮影によって得られた３次元ボリューム画像から内視鏡と類似した画像を生成する仮想内視鏡技術を利用し、仮想内視鏡画像を用いて管状組織内の内視鏡の位置の把握を支援する技術が提案されている。

例えば、特許文献１には、予め取得した被験体の３次元画像から仮想内視鏡画像を生成し、仮想内視鏡画像と内視鏡により撮影されたリアル画像との誤差を算出し、算出した誤差が許容誤差以下になるまで、仮想内視鏡の視点の位置を移動して、移動した仮想内視鏡画像と内視鏡画像の誤差の算出を繰り返し、算出された誤差が許容誤差以下になったときに、仮想内視鏡画像の視線パラメータから内視鏡先端部の位置と方向を算出する装置が記載されている。

特開２００９−２７９２５１号公報

しかしながら、大腸などのやわらかい管状組織では、仮想内視鏡画像が撮影された際の患者の体位が仰臥位であり、内視鏡が挿入された際の患者の体位が側臥位である場合など、同じ領域であっても管状組織はそれぞれの異なる体位ごとに重力の作用により変形した形状になっている。このため、ＣＴ装置等により得られた３次元画像データから生成した仮想内視鏡画像と内視鏡画像では同じ領域であっても異なる形状で表示される可能性が高く、特許文献１に記載された手法では、画像のマッチングが困難であった。さらに、管状組織内の画像は、管状構造の特質として湾曲部分や分岐部分がない区間では同じような構造が連続するため、画像の特徴を対比させてマッチングを行うことが難しかった。

また、処置具の先端の位置を確認するために、磁気センサを処置具に配設する方法も提案されているが、撮影時の患者の体位による管状組織の変形等により、体内での管状組織の正確な位置が確認できず、所望の精度が得られなかった。

本発明は上記事情に鑑みてなされたものであり、被検体に挿入した内視鏡下での管状組織の観察の際に、管状組織内での内視鏡の位置をより確実に把握可能な装置および方法、およびプログラムを提供することを目的とするものである。

本発明の内視鏡観察支援装置は、予め取得した前記被検体の３次元画像から被検体の管状組織の中心線を取得する中心線取得手段と、前記管状組織に挿入された内視鏡を前記管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示する内視鏡画像表示手段と、表示された前記内視鏡画像に前記管状組織の１つの特徴領域が表示されたときに、前記内視鏡の位置を基準位置として決定するとともに前記中心線上に前記１つの特徴領域に対応する位置を設定する位置決定手段と、前記基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得する移動量取得手段と、前記１つの特徴領域に対応する位置から、前記中心線に沿って、前記取得した進行方向に前記取得した移動量だけ離れた位置を現在位置として算出する現在位置算出手段と、算出された前記現在位置を表す指標を前記中心線上に表示させる現在位置表示手段とを備えたことを特徴とするものである。

本発明の内視鏡観察支援方法は、予め取得した被検体の３次元画像から被検体の管状組織の中心線を取得し、前記管状組織に挿入された内視鏡を前記管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示し、表示された前記内視鏡画像に前記管状組織の１つの特徴領域が表示されたときに、前記内視鏡の基準位置を入力するとともに前記中心線上に前記１つの特徴領域に対応する位置を設定し、前記基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得し、前記１つの特徴領域に対応する位置から、前記中心線に沿って、前記取得した進行方向に前記取得した移動量だけ離れた位置を現在位置として算出し、算出された前記現在位置を表す指標を前記中心線上に表示させることを特徴とするものである。

本発明の内視鏡観察支援プログラムは、コンピュータを、予め取得した前記被検体の３次元画像から被検体の管状組織の中心線を取得する中心線取得手段と、前記管状組織に挿入された内視鏡を前記管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示する内視鏡画像表示手段と、表示された前記内視鏡画像に前記管状組織の１つの特徴領域が表示されたときに、前記内視鏡の位置を基準位置として決定するとともに前記中心線上に前記１つの特徴領域に対応する位置を設定する位置決定手段と、前記基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得する移動量取得手段と、前記１つの特徴領域に対応する位置から、前記中心線に沿って、前記取得した進行方向に前記取得した移動量だけ離れた位置を現在位置として算出する現在位置算出手段と、算出された前記現在位置を表す指標を前記中心線上に表示させる現在位置表示手段として機能させることを特徴とするものである。

本発明において、上記管状組織は、被検体が人体であれば、腸や胃などの管状の内臓に代表されるものであるが、内視鏡を挿入可能なものであれば何でもよい。また、上記特徴領域は、腸の折曲部や目だったポリープが見つかった領域など、ユーザ等が管状組織内の他の領域と識別可能な形態を有する領域であれば何でもよい。ユーザがそれらの特徴領域を見つけたときは、その領域を、円、矩形、閉曲面など、様々な形状の指標で特定して示すことができる。例えば、前記管状組織が大腸であるときは、特徴領域は肛門管、脾彎曲部、肝彎曲部のいずれかであってもよい。また、前記管状組織が気管支のときには、特徴領域は喉頭あるいは気管支分岐部のいずれかであってもよい。また、管状組織が食道のときには、特徴領域は咽頭および噴門のいずれかであってもよい。また、管状組織内の腫瘍等の凹凸を有する領域を特徴領域としてもよい。

また、本発明において、上記基準位置とは、管状組織内に位置する内視鏡の位置を算出するための基準となる位置で、内視鏡画像中に前記管状組織内の特徴領域が表示されたときの内視鏡の位置を意味する。この基準位置の決定は、内視鏡画像に前記特徴領域が表示されたとき、ユーザのマウスやキーボードあるいはその他の入力装置により内視鏡の位置を記憶するなどして決定するものであれば、種々の方法で行うことができる。例えば、内視鏡画像に管状組織内の特徴領域が表示されたときに、ユーザが画面上に設けたボタンをマウスでクリックすることにより基準位置を決定してもよく、対話形式のＧＵＩで基準位置の取得を命ずるコマンド入力により基準位置を決定してもよい。

また、この基準位置の特定は、内視鏡の管状組織の長手方向に沿った移動量及び移動方向の計測を開始する位置であるから、これに基づいて管状組織の長手方向に沿った移動量及び移動方向の計測が可能であれば、どのように特定してもよい。一例として、管状組織から露出した内視鏡のプローブ外表面上に内視鏡の先端からの長さを表す数値を付すことにより、基準位置を内視鏡の挿入深さとして特定することができる。また、内視鏡の管状組織への挿入深さを計測するような内視鏡の既存の機能により、基準位置を特定してもよい。

また、「中心線上に前記１つの特徴領域に対応する位置を設定する」の「位置」とは、特徴領域近傍の中心線上の位置、例えば特徴領域を仮想内視鏡で表示した場合の仮想内視鏡の視点の位置であってもよく、また、特徴領域から最も近い中心線上の点の位置でもよく、特徴領域から所定の範囲内に含まれる中心線上の任意の位置でもよい。

また、本発明において、内視鏡の移動量および進行方向の取得は、内視鏡の管状組織に沿って移動した移動量および進行方向が取得できる方法であれば種々の方法を用いることができる。例えば、本発明の内視鏡観察支援装置における前記移動量取得手段は、前記管状組織外に露出した前記内視鏡のプローブの移動量及び移動方向を取得するものであってもよい。例えば、内視鏡のプローブまたはプローブの被覆膜に目盛りを設け、プローブの管状組織外に露出した部分を光学的検出手段により読み取るようにすることができる。あるいは、定点撮影可能に配置した光学撮影装置により撮影し、撮影した画像から周知の方法で目盛りを読み取って、プローブの移動量および進行方向を取得することができる。また、内視鏡のプローブまたはプローブの被覆膜に設けた目盛りに基づいてユーザ等が手動でプローブの移動量および進行方向を計測し、ユーザによるキーボード等の入力装置からの入力として計測した移動量および進行方向を取得してもよい。また、内視鏡の既存の機能により、内視鏡の管状組織の長手方向に沿った移動距離および進行方向を計測してもよい。

また、内視鏡の現在位置を表す指標は、表示画面上に識別可能に位置を表示するものであれば何でもよい。例えば、指標は、十字マークでもよいし、点、円、矩形、矢印、閉曲面など、位置を示すことができる周知の指標を用いることができる。

本発明の内視鏡観察支援装置は、前記中心線に沿って、視点を移動させた仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、前記生成された仮想内視鏡画像を表示する表示手段とをさらに備え、前記基準位置の決定は、表示された前記仮想内視鏡画像および前記内視鏡画像の両方に前記管状組織内の特徴領域が表示されたときに行われるものであることが好ましい。

「前記仮想内視鏡画像および前記内視鏡画像の両方に前記管状組織内の同じ特徴領域が表示された」とは、両画像が同じ特徴領域を表示しているものであればよく、同じ特徴領域の形態が被検体の体位等により変形している場合もあるため、特徴領域の形態は、特徴領域で同じあることが認識できるものであれば、両画像上の特徴領域の形態が厳密に一致する必要はない。なお、同じ特徴領域を表示する際の仮想内視鏡画像の視点の位置と内視鏡画像のＣＣＤ等の撮像手段の位置を正確に対応付けて内視鏡画像の位置を取得するために、好ましくは、基準位置を入力するときに、同じ特徴領域を両画像上で同じ程度の位置または同程度の大きさで表すことが好ましい。

なお、仮想内視鏡画像および内視鏡画像の両方に管状組織内の同じ特徴領域が表示される際に、最初に仮想内視鏡画像で仮想内視鏡画像の視点を移動させて管状組織内の特徴領域を表示しておいて、その後内視鏡画像で内視鏡の移動に応じて管状組織内の同じ特徴領域を表示してもよく、最初に内視鏡画像で内視鏡の移動に応じて管状組織内の特徴領域を表示しておいて、その後仮想内視鏡画像で仮想内視鏡画像の視点を移動させて管状組織内の同じ特徴領域を表示してもよく、両画像で同時に管状組織内の同じ特徴領域を表示してもよい。

また、内視鏡画像と仮想内視鏡画像の表示は、両者を対比可能に表示していればよく、１つの表示装置に行ってもよいし、複数の表示装置に別々に行ってもよい。また、内視鏡画像と仮想内視鏡画像を複数の表示装置で表示する場合は、両画像を同時に観察可能なように物理的に同じ場所に並べられて設置されていることが好ましい。また、内視鏡画像と仮想内視鏡画像は、両者を対比可能に表示するものであれば両者を切り替えて表示することもでき、重ね合わせて表示することもできる。

本発明の内視鏡観察支援装置において、位置決定手段は、前記管状組織内の異なる特徴領域ごとに前記基準位置を決定するものであることが望ましい。このことより、本発明の内視鏡観察支援装置は、新たな基準位置が入力され、新たな基準位置から移動量および進行方向を取得し、取得した移動量および進行方向に、基準位置が入力されたときの特徴領域を表す位置を移動させた位置を算出し、算出された位置を表示する。

本発明の内視鏡観察支援装置は、前記現在位置表示手段が、前記算出された位置の指標だけでなく、他の指標をさらに表示するものであってもよい。例えば、前記現在位置表示手段が、前記中心線とともに前記管状組織をさらに表示するものであってもよい。この管状組織は、被検体の３次元画像から抽出して得られたものでもよく、管状組織のモデル等でもよい。また、前記現在位置表示手段は、前記位置を先端とする模式的な内視鏡をさらに表示するものであってもよい。前記現在位置表示手段は、前記特徴領域を表す指標をさらに表示するものであってもよい。

本発明の内視鏡観察支援装置、方法およびプログラムによれば、管状組織に挿入された内視鏡を管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示し、表示された内視鏡画像に管状組織の１つの特徴領域が表示されたときに、内視鏡の基準位置を入力するとともに前記中心線Ｌ上に１つの特徴領域に対応する位置を設定し、基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得し、１つの特徴領域に対応する位置から、中心線に沿って、取得した進行方向に取得した移動量だけ離れた位置を現在位置として算出し、算出された現在位置を表す指標を中心線上に表示させるため、管状組織の内視鏡画像だけでは管状組織内の内視鏡の位置が把握できない場合であっても、内視鏡の移動距離及び進行方向に基づいて管状組織内での内視鏡の位置を的確に把握することができる。このことにより、管状組織の湾曲部分の接近や、管状組織の進行方向を予測することでき、手術や検査等において内視鏡の管状組織での円滑な移動を支援し、手技のミス等の防止に資する。

また、本発明の内視鏡観察支援装置において、中心線に沿って、視点を移動させた仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、生成された仮想内視鏡画像を表示する表示手段とをさらに備え、基準位置の決定は、表示された仮想内視鏡画像および内視鏡画像の両方に前記管状組織内の特徴領域が表示されたときに行われるものである場合には、より正確に内視鏡の基準位置を設定できるため、より正確に仮想内視鏡の視点の位置を算出することができる。この結果、中心線上の指標がより正確な位置に表示されるため、内視鏡の位置をより的確に捉えることができる。

本発明の内視鏡観察支援装置において、基準位置決定手段が、管状組織内の異なる特徴領域ごとに基準位置を決定するものである場合には、被検体の体位や内視鏡の移動により管状組織が伸縮、変形することにより生ずる内視鏡の位置と仮想内視鏡画像の視点の位置のずれを修正することができ、より正確に内視鏡の基準位置を設定できるため、より正確に仮想内視鏡の視点の位置を算出することができる。この結果、中心線上の指標がより正確な位置に表示されるため、内視鏡の位置をより的確に捉えることができる。

本発明の内視鏡観察支援装置が、中心線とともに管状組織または視点の位置を先端とする模式的な内視鏡または特徴領域を表す指標をさらに表示するものである場合には、より管状組織内における内視鏡の位置を的確に捉えることができる。

本発明の実施の形態となる内視鏡観察支援システムのハードウェア構成図 本発明の第１の実施形態における内視鏡観察支援システムの機能ブロック図 本発明の第１の実施形態における内視鏡観察支援処理の流れを表したフローチャート 内視鏡と仮想内視鏡が同じ特徴領域を表したときの入力画面の一例を模式的に表した図 内視鏡と仮想内視鏡画像の視点と特徴領域の位置関係の一例を模式的に表した図 第１の実施形態で表示される中心線と指標の一例を模式的に表した図 第１の実施形態で表示される中心線と指標の変形例を模式的に表した図

以下、本発明の実施の形態となる内視鏡観察支援システムについて説明する。

図１は、この内視鏡観察支援システムの概要を示すハードウェア構成図である。図に示したように、このシステムは、内視鏡１、デジタルプロセッサ２、光源装置３、内視鏡画像用ディスプレイ４、モダリティ５、画像保管サーバ６、位置検出装置７、画像処理ワークステーション用ディスプレイ（以下、ＷＳディスプレイ）８、画像処理ワークステーション９から構成されている。

本実施形態では、内視鏡１は大腸用の軟性鏡であり、被検体の大腸内に挿入される。光源装置３から光ファイバーで導かれた光が内視鏡１の先端部１Ａから照射され、内視鏡１の撮像光学系により被検体の腹腔内の画像が得られる。デジタルプロセッサ２は、内視鏡１で得られた撮像信号をデジタル画像信号に変換し、ホワイトバランス調整やシェーディング補正等のデジタル信号処理によって画質の補正を行った後、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、内視鏡画像データ(Ｉ_RE)を出力する。出力された内視鏡画像データ(Ｉ_RE)は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション９に送信される。また、デジタルプロセッサ２は、内視鏡画像データ(Ｉ_RE)をアナログ信号に変換して内視鏡画像用ディスプレイ４に出力し、内視鏡画像用ディスプレイ４には内視鏡画像(Ｉ_RE)が表示される。内視鏡１での撮像信号の取得は所定のフレームレートで行われるので、内視鏡用ディスプレイ４では、内視鏡画像(Ｉ_RE)が腹腔内を表す動画として表示される。さらに、内視鏡１では、ユーザの操作に応じて静止画撮影も可能である。

モダリティ５は、被検体の検査対象部位を撮影することにより、その部位を表す３次元医用画像の画像データ(Ｖ)を生成する装置であり、ここではＣＴ装置とする。この３次元医用画像データ(Ｖ)にもＤＩＣＯＭ規格で規定された付帯情報が付加されている。にまた、３次元医用画像データ(Ｖ)も、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション９に送信される。

画像保管サーバ６は、モダリティ５や画像処理ワークステーション９とＬＡＮ経由で接続されており、モダリティ５で取得された医用画像データや画像処理ワークステーション９での画像処理によって生成された医用画像の画像データを画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェア（たとえば、ＯＲＤＢ（Object Relational Database）管理ソフトウェア）を備えている。

位置検出装置７は、公知の光学撮影装置から構成される。図１の領域７Ａには、内視鏡１の位置を検出するために被検体の管状組織外に露出した内視鏡のプローブ１Ｂの一部を水平に移動可能に支持する不図示の支持具が設置されている。そして、内視鏡のプローブ１Ｂの外表面には内視鏡の先端部分からの長さをｍｍ単位で示した数値が記されている。位置検出装置７は、この数値を読み取ることができる位置、すなわち、該支持部に水平に支持されたプローブ１Ｂを定点撮影できる位置７Ａに周知の固定方法で配置される。位置検出装置７は、画像処理ワークステーション９に周知のインターフェースを介して接続されており、画像処理ワークステーション９からの指示に応じて、プローブ１Ｂ上の数値を光学撮影し、取得した信号値を画像処理ワークステーション９に送信する。

画像処理ワークステーション９は、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のハードウェア構成を備えたコンピュータであり、入力装置（ポインティングデバイス、キーボード等）や、ＷＳディスプレイ８が接続されている。また、画像処理ワークステーション９は、デジタルプロセッサ２、モダリティ５、画像保管サーバ６とＬＡＮ接続されており、位置検出装置７とは周知のインターフェースを介して接続されている。さらに、画像処理ワークステーション９は、周知のオペレーティングシステムや各種アプリケーション・ソフトウェア等がインストールされたものであり、本発明の内視鏡観察支援処理を実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ−ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。

図２は、本発明の第１の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図である。

図２に示したように、本明細書の内視鏡観察支援システムは、内視鏡１と、内視鏡１から撮像した画像信号から内視鏡画像を形成する内視鏡画像形成部２と、内視鏡画像形成部２に形成された内視鏡画像を表示する内視鏡画像表示手段４（内視鏡画像用ディスプレイ４）と、被検体の３次元画像を形成する３次元医用画像形成部５と、３次元医用画像を保管する画像保管サーバ６と、内視鏡１の移動量を検出するための位置検出装置７と、被検体の３次元画像Ｖを予め取得する３次元画像取得手段１１と、３次元画像取得手段１１が取得した３次元画像から被検体の管状組織及び該管状組織の中心線Ｌを抽出する中心線取得手段１７と、中心線取得手段１７が取得した中心線Ｌに沿って、視点を移動させた仮想内視鏡画像４１を生成する仮想内視鏡画像生成手段１２と、生成された仮想内視鏡画像４１および中心線Ｌを表示する表示手段８（ＷＳディスプレイ８）と、被検体の管状組織に挿入された内視鏡１によって管状組織の長手方向に沿って撮影された内視鏡画像３１を表示する内視鏡画像表示手段４（内視鏡画像用ディスプレイ４）と、内視鏡画像３１に管状組織内の１つの特徴領域Ｒが表示されたときに内視鏡の位置を基準位置Ｐ１として決定するとともに中心線上の特徴領域Ｒに対応する位置Ｑ１を設定する基準位置決定手段１３と、基準位置Ｐ１からの内視鏡１の移動量及び進行方向を取得する移動量取得手段１４と、基準位置Ｐ１を入力したときの特徴領域Ｒに対応する位置Ｑ１から、中心線Ｌｖに沿って、取得した進行方向に取得した移動量だけ離れた位置Ｑ２を算出する現在位置算出手段１５と、算出された視点の位置Ｑ２を表す指標Ｍを表示された中心線Ｌ上に表示させる現在位置表示手段１６から構成される。

以下、図２で示す各機能ブロックについて詳細に説明する。なお、図１に示したハードウェア機器と図２に示した各機能ブロックとが概ね１対１に対応する場合には同じ符号を付して説明を省略する。なお、内視鏡画像形成部２の機能は図１のデジタルプロセッサによって実現され、３次元医用画像形成部５の機能は図１のモダリティによって実現され、位置検出部７の機能は、位置検出装置７によって実現される。また、破線枠は画像処理ワークステーション９を示しており、破線枠内の各処理部の機能は、画像処理ワークステーション９で所定のプログラムを実行することによって実現される。

３次元画像取得手段１１は、３次元医用画像形成部５または画像管理データベース６から３次元医用画像Ｖを受信し、画像処理ワークステーション９の所定のメモリ領域に格納する通信インターフェース機能を有する。

中心線取得手段１７は、３次元画像取得手段１１が取得した３次元画像から被検体の管状組織及び該管状組織の中心線Ｌを抽出する。管状組織の抽出及び中心線の抽出は周知の種々の方法を適用することができ、例えば、中心線の抽出には、“Colon centreline calculation for CT colonography using optimised 3D topological thinning.”, Proceedings of the 1st International Symposium on 3D Data Processing Visualization and Transmission, IEEE Computer Society, pp.800-803, 2002に記載された方法を用いることができる。また、本実施形態では、中心線取得手段１７は、大腸の特徴領域Ｒ１、Ｒ２を所定方向から表示するように仮想内視鏡画像４１を再構成した場合の際の仮想内視鏡の視点の位置の座標を取得する。具体的には、抽出された大腸の中心線上で複数の特徴領域Ｒ_Ｖ１、Ｒ_Ｖ２をユーザがマウス等の入力装置でそれぞれ指定することにより、大腸の複数の特徴領域Ｒ_Ｖ１、Ｒ_Ｖ２が予め抽出されて、特徴領域Ｒ_Ｖ１、Ｒ_Ｖ２を所定方向から表示するように仮想内視鏡画像４１を再構成した場合の際の仮想内視鏡の視点の位置の座標が個々に画像処理ＷＳ９に保存されている。なお、Ｒ_Ｖ１は大腸の脾彎曲部を指し、Ｒ_Ｖ２は大腸の肝彎曲部を指しているものとする。

仮想内視鏡画像生成手段１２は、仮想内視鏡画像生成手段１２中心線取得手段１７が取得した中心線Ｌｖに沿って、視点を移動させた仮想内視鏡画像４１を周知の方法により生成する。

内視鏡画像表示手段４（内視鏡画像用ディスプレイ４）は、生成された仮想内視鏡画像４１および中心線Ｌを表示する表示手段８（ＷＳディスプレイ８）と、被検体の管状組織に挿入された内視鏡１によって大腸の長手方向に沿って撮影された内視鏡画像３１を表示する。本実施形態では、内視鏡画像用ディスプレイ４とＷＳディスプレイ８は同じ大きさのディスプレイを、医師らが両ディスプレイを対比しやすいよう並べて配置している。また、内視鏡画像３１と仮想内視鏡画像４１は、対比しやすいよう各ディスプレイ４，８でそれぞれ同じ大きさのウインドウの中に表示されている。

基準位置決定手段１３は、表示された仮想内視鏡画像４１および内視鏡画像３１の両方に管状組織内の同じ特徴領域Ｒ_Ｖ１が表示されたときに、ポインティングデバイスまたはキーボード等の入力装置によりユーザからの入力を受け付ける。この入力に応じて、基準位置決定手段１３は、内視鏡の位置を基準位置Ｐ１として決定する。この決定された基準位置Ｐ１は移動量取得手段１４によって内視鏡１の挿入深さとして特定される。また、基準位置決定手段１３は、特徴領域Ｒ_Ｖ１と対応する位置Ｑ１として、仮想内視鏡画像３１で特徴領域Ｒ_Ｖ１を表示した際の仮想内視鏡の視点の座標を設定する。また、基準位置決定手段１３は、基準位置Ｐ１を、特徴領域Ｒ_Ｖ１と対応する位置Ｑ１と対応付けて画像処理ワークステーション９の所定のメモリ領域に格納する。

移動量取得手段１４は、位置検出装置７との通信により内視鏡のプローブ１Ｂ上の数値を撮影した画像信号を取得する通信インターフェースとしての機能と、所定の時間間隔で、位置検出装置７から内視鏡の位置Ｐに任意の位置おける内視鏡のプローブ１Ｂに記された数値Ｓｃを撮影した画像信号を取得し、画像信号に周知の画像処理を行って数値Ｓｃを認識して取得し、画像処理ワークステーション９の所定のメモリ領域に格納する機能とを有する。

また、移動量取得手段１４は、内視鏡が基準位置Ｐ１にあるときに位置検出装置７から取得した数値Ｓｃ１から内視鏡が任意の位置Ｐ２にあるときに位置検出装置７から取得した数値Ｓｃ２までの、移動量Ｓｑ（Ｓｑ＝｜Ｓｃ１−Ｓｃ２｜）および進行方向Ｓｄを取得する。なお、内視鏡１のプローブ１Ｂに付された数値Ｓｃ１、Ｓｃ２は、内視鏡先端からの長さを表す数値であるため、Ｓｃ１−Ｓｃ２が負であれば、内視鏡の進行方向Ｓｄは、基準位置Ｐ１から大腸の奥に内視鏡をさらに進入する方向（直腸から盲腸に向かう方向）であり、Ｓｃ１−Ｓｃ２が正であれば、基準位置Ｐ１から内視鏡を引き抜く方向（盲腸から直腸に向かう方向）であることが分かる。ここでは、内視鏡の進行方向が直腸から盲腸に向かう方向の場合をＳｄ＝１、盲腸から直腸に向かう方向の場合をＳｄ＝０として表す。

現在位置算出手段１５は、特徴領域Ｒ_Ｖ１に対応する位置Ｑ１から、中心線Ｌｖに沿って、取得した進行方向に取得した移動量だけ離れた現在位置Ｑ２を位置Ｑ１の座標および中心線Ｌｖの経路等に基づいて周知の方法により算出する。

現在位置表示手段１６は、算出された現在位置Ｑ２を表す指標Ｍを中心線Ｌ上に表示させる。図６Ａは、本実施形態における中心線＋と指標の表示の一例を示す図である。現在位置表示手段１６、図６Ａに示すように、ＷＳディスプレイ８に中心線取得手段１７により抽出された中心線Ｌおよび算出された現在位置Ｑ２を表す指標Ｍを表示された中心線Ｌ上に表示したガイド画像５１を表示させる。特徴領域Ｒ_Ｖ１に対応する位置Ｑ１として、特徴領域Ｒ_Ｖ１を表示した際の仮想内視鏡の視点位置を設定しているため、現在位置Ｑ２は、特徴領域Ｒ_Ｖ１を表示した際の仮想内視鏡の視点位置から、内視鏡の移動した方向に内視鏡の移動量だけ離れた仮想内視鏡の視点位置を表している。なお、現在位置として、ガイド画像５１上に内視鏡１の撮影部１Ａ以外の各位置に相当する仮想内視鏡の位置の標識を表示することができるが、医師らは内視鏡１の撮影部１Ａで撮影された映像を手がかりに、管状組織内で移動や処置を行うため、ガイド画像５１上では、内視鏡１の撮影部１Ａに相当する位置を現在位置Ｑ２として識別可能に表示することが好ましい。

次に、図３に示したフローチャートを用いて、本発明の第１の実施形態となる内視鏡観察支援システムで行われるユーザの操作や、上記各処理部で行われる処理の概略的な流れを説明する。

まず、内視鏡１を用いた被検体の管状組織の観察に先立って、３次元医用画像形成部５による被検体の管状組織の撮像により、３次元医用画像Ｖが形成される。画像処理ワークステーション９では、３次元画像取得手段１１が、３次元医用画像形成部５によって形成された３次元医用画像Ｖを取得する（Ｓ０１）。そして、中心線取得手段１７が、３次元画像取得手段１１によって取得された３次元医用画像Ｖに基づいて、管状組織の中心線Ｌを取得する(Ｓ０２)。

仮想内視鏡画像生成手段１２は、中心線取得手段１７が取得した中心線Ｌに沿って、視点を移動させた仮想内視鏡画像４１を生成する。本実施形態においては、ポインティングデバイス等の入力装置により受け付けたユーザの移動指示に応じて仮想内視鏡画像の視点を移動させる。そして、表示手段８（ＷＳディスプレイ８）は、生成された仮想内視鏡画像４１を表示する（Ｓ０３）。そして、本実施形態では、ユーザの入力装置による入力に応じて、仮想内視鏡画像生成手段１２は特徴領域Ｒ_Ｖ１を表す仮想内視鏡画像４１を表示する。

そして、内視鏡画像形成部２は、被検体の管状組織に挿入された内視鏡１によって管状組織の長手方向に沿って撮影された画像信号を所定のフレームレートで内視鏡画像３１を繰り返し形成し、形成された内視鏡画像３１を内視鏡画像用ディスプレイ４にスルー動画としてリアルタイムに表示させる（Ｓ０４）。

図４に、内視鏡画像３１と仮想内視鏡画像４１が同じ特徴領域Ｒ１（以下、内視鏡画像３１上での特徴領域をＲ_Ｅ１、仮想内視鏡画像４１上での特徴領域をＲ_Ｖ１と表す。）を表したときの入力画面の一例を示す。図５は、本実施形態における現在位置の算出方法を説明するための図である。図５右は、内視鏡１と被検体の大腸Ｃ_Ｒとを模式的に表しており、内視鏡１は内視鏡の撮影部１Ａを先端として破線で表した経路に沿って大腸Ｃ_Ｒを移動する。図５左は、ＣＴ装置等のモダリティによる断層撮影から得た大腸被検体のＣ_Ｖと中心線Ｌを表しており、仮想内視鏡の視点は中心線Ｌ上を移動する。また、図５に、大腸Ｃ_Ｒ、Ｃ_Ｖと大腸の長さ方向に沿って移動する内視鏡の撮影部１Ａの位置Ｅ１、Ｅ２、内視鏡の撮影部１Ａが位置Ｅ１にあるときに位置検出装置７に所定の位置７Ａで定点撮影される内視鏡のプローブ１Ｂの位置Ｐ１、内視鏡の撮影部１Ａが位置Ｅ２にあるときに位置検出装置７に所定の位置７Ａで定点撮影される内視鏡のプローブ１Ｂの位置Ｐ２、特徴領域Ｒ_Ｖ１に対応する位置Ｑ１、特徴領域Ｒ_Ｖ１から移動された現在位置Ｑ２との関係を示す。また、図５に、同様に、内視鏡の撮影部１Ａが位置Ｅ１’にあるときに位置検出装置７に所定の位置７Ａで定点撮影される内視鏡のプローブ１Ｂの位置Ｐ１’、内視鏡の撮影部１Ａが位置Ｅ２’にあるときに位置検出装置７に所定の位置７Ａで定点撮影される内視鏡のプローブ１Ｂの位置Ｐ２’、特徴領域Ｒ_Ｖ２に対応する位置Ｑ１’、特徴領域Ｒ_Ｖ２から移動された仮想内視鏡画像４１の現在位置Ｑ２’との関係を示す。なお、図４では、大腸の湾曲部を特徴領域Ｒ１として、内視鏡画像と仮想内視鏡画像の両方にそれぞれ特徴領域Ｒ_Ｅ１、Ｒ_Ｖ１を表示させた状態を表している。

図４に示すように、医師等のユーザは、内視鏡画像３１に表示された特徴領域Ｒ_Ｅ１と仮想内視鏡画像４１に表示された特徴領域Ｒ_Ｖ１がほぼ同じ大きさで同じ配置で表示された状態となるように、内視鏡１を移動させる。図５に示すように、内視鏡画像３１および仮想内視鏡画像４１に同じ特徴領域Ｒ_Ｅ１、Ｒ_Ｖ１が表示されている状態では、内視鏡１の撮影部１Ａ（内視鏡１の先端）はＥ１に配置された状態であり、仮想内視鏡の視点はＱ１に配置された状態である。つまり、内視鏡画像３１と仮想内視鏡画像４１とは、同じ特徴領域Ｒ_Ｅ１、Ｒ_Ｖ１がほぼ同じ大きさ同じ配置で表示された状態では、内視鏡の撮影部１Ａの位置Ｅ１と仮想内視鏡の視点の位置Ｑ１は大腸Ｃ_Ｒ、Ｃ_Ｖのほぼ同じ点を表している。

次いで、図４に示すように、表示された仮想内視鏡画像４１および内視鏡画像３１の両方に管状組織内の同じ特徴領域Ｒ１が表示されたときに、ユーザはマウス等の入力装置でポインタＰｔｒを移動させて仮想内視鏡画像の特徴領域Ｒ_Ｖ１の一部をクリックする。すると、基準位置決定手段１３は、基準位置Ｐ１の決定指示を受け付けて（Ｓ０５のＹ）、これにより、基準位置決定手段１３は、基準位置Ｐ１を決定する。また、基準位置決定手段１３は、基準位置決定手段１３の入力により指定された位置の座標を取得し、取得した該座標に最も近い特徴領域Ｒ_Ｖ１に対する仮想内視鏡の視点の座標を、特徴領域Ｒ１に対応する位置Ｑ１の座標として設定し、基準位置Ｐ１と特徴領域Ｒ１に対応する位置Ｑ１を対応付けて画像処理ワークステーション９の所定のメモリ領域に格納する。そして、この決定により移動量取得手段１４が基準位置Ｐ１の内視鏡の挿入深さを取得するとともに、現在位置算出手段１５が特徴領域Ｒ_Ｖ１に対応する位置Ｑ１の座標を取得する（Ｓ０６）。

なお、指定された位置の座標から最も近い特徴領域Ｒ_Ｖ１は周知の種々の方法で特定できる。本実施形態では、保存された複数の特徴領域Ｒ_Ｖ１、Ｒ_Ｖ２に対応する内視鏡の視点の座標と指定された位置の座標との距離を算出し、距離が最も短い座標を特徴領域_Ｖ１に対応する位置の座標として設定する。例えば、指定された位置の座標から所定範囲に一部または全部が存在する特徴領域Ｒ_Ｖを、最も近い特徴領域Ｒ_Ｖとすることもできる。

次いで、移動量取得手段１４は、基準位置決定手段１３の決定に応じて、内視鏡の基準位置Ｐ１における内視鏡の挿入長さを、定点撮影する位置７Ａでの内視鏡のプローブ１Ｂ上の数値Ｓｃ１として取得する。つまり、図５に示すように、内視鏡１の撮影部１Ａの位置Ｅ１と仮想内視鏡の視点Ｑ１の大腸内の位置が一致した基準位置Ｐ１を、内視鏡１の大腸への挿入深さＳｃ１によって特定する。

そして、移動量取得手段１４は、基準位置Ｐ１からの内視鏡１の大腸の長さ方向に沿った移動量及び進行方向を取得する（Ｓ０７）。すなわち、図５で示すように、基準位置Ｐ１から基準位置Ｐ１の取得後、ユーザ等に移動された内視鏡１の位置Ｐ２までの移動量Ｓｑ及び進行方向Ｓｄを取得する。

移動量取得手段１４は、所定の時間間隔で、位置検出装置７から内視鏡の任意の位置Ｐ２における内視鏡のプローブ１Ｂ外表面に記された数値Ｓｃ２を撮影した画像信号を取得し、画像信号に周知の画像処理を行って数値Ｓｃ２を取得する。つまり、基準位置Ｐ１から内視鏡１が移動した位置Ｐ２を、内視鏡１の大腸への挿入深さＳｃ２によって特定する。そして、移動量取得手段１４は、先述の通りＳｃ２とＳｃ１の差分により、基準位置Ｐ１から内視鏡の移動量Ｓｑおよび進行方向Ｓｄを取得する。図５では、内視鏡の移動量Ｓｑは｜Ｓｃ１−Ｓｃ２｜であり、進行方向Ｓｄは大腸への内視鏡１の挿入深さが深くなる方向である。

現在位置算出手段１５は、特徴領域Ｒ_Ｖ１に対応する位置Ｑ１の座標を取得し、特徴領域に対応する位置Ｑ１から大腸の中心線Ｌに沿って、進行方向Ｓｄに取得した移動量Ｓｑだけ離れた現在位置Ｑ２を算出する（Ｓ０８）。

現在位置表示手段１６は、ＷＳディスプレイ８に中心線取得手段１７により抽出された中心線Ｌおよび算出された視点の位置Ｑ２を表す指標Ｍを表示された中心線Ｌ上に表示したガイド画像５１を表示させる（Ｓ０９）。図６Ａは、ガイド画像５１上に現在位置Ｑ２を表す矢印（指標）Ｍを表示した例を示す。

画像処理ワークステーション９では、観察終了を指示する操作が行わない限り（Ｓ１１のＮｏ）、Ｓ０５からＳ１０までの処理を繰り返す。

一方、基準位置Ｐ１の決定指示がない場合であって（Ｓ０５のＮ）、内視鏡の基準位置Ｐ１がまだ１回も決定されていない場合には（Ｓ１０のＹ）、基準位置Ｐ１の決定指示を待つ（Ｓ０５）。そして、基準位置Ｐ１の決定指示がなく（Ｓ０５のＮ）、内視鏡の基準位置Ｐ１がすでに１回以上決定されている場合には（Ｓ１０のＮ）、Ｓ０７からＳ０９の処理を行う。これにより、ガイド画像５１には、内視鏡１の移動に時間的に連動してガイド画像５１の中心線Ｌ上に現在位置を表す指標Ｍが表示される。

また、図５に示すように、新たな特徴領域Ｒ_Ｅ２、Ｒ_Ｖ２が内視鏡画像３１’および仮想内視鏡画像４１’にそれぞれ表示されたときに、ユーザによる特徴領域Ｒ_Ｖ２の一部を指定する入力を受け付けると（Ｓ０５のＹ）、先述同様基準位置決定手段１３が新たな基準位置Ｐ１’を決定する。また、基準位置決定手段１３は、新たな特徴領域Ｒ_Ｖ２に対応する位置Ｑ１’の座標として、特徴領域Ｒ_Ｖ２を仮想内視鏡画像４１に表したときの視点の座標を設定する。移動量取得手段１４は基準位置Ｐ１’の内視鏡の挿入深さＳｃ１’を取得し、現在位置算出手段１５は、新たな特徴領域Ｒ_Ｖ２に対応する位置Ｑ１’の座標を取得する（Ｓ０６）。このとき、内視鏡１の先端部の位置Ｅ１’は、特徴領域Ｒ_Ｖ２を表示する仮想内視鏡の視点の位置Ｑ１’と管状組織のほぼ同じ位置に配置された状態である。

そして、移動量取得手段１４が、ユーザによる内視鏡の撮影部１ＡをＥ２’に移動させる操作に応じて、内視鏡の撮影部１ＡがＥ２’に配置されたときのプローブ１Ｂ外表面の位置Ｐ２’の内視鏡の挿入深さを表す数値Ｓｃ２’を取得する。これにより、新たな基準位置Ｐ１’からの移動量Ｓｑおよび進行方向Ｓｄを取得し（Ｓ０７）、取得した移動量Ｓｑおよび進行方向Ｓｄだけ、新たな特徴領域Ｒ_Ｖ２に対応する位置Ｑ１’から離れた現在位置Ｑ２’を算出し（Ｓ０８）、算出された現在位置Ｑ２’を表示する（Ｓ０９）。

一方、観察終了を指示する操作が行われた場合には（Ｓ１１のＹ）、本実施形態の内視鏡診断支援処理を終了する。

以上のように、本発明の第１の実施形態では、被検体の管状組織に挿入された内視鏡によって管状組織の長手方向に沿って撮影された内視鏡画像を表示し、表示された内視鏡画像に管状組織の特徴領域が表示されたときに、内視鏡の基準位置を決定するとともに中心線Ｌ上の特徴領域に対応する位置Ｑ１を設定し、基準位置Ｐ１からさらに移動された内視鏡の移動量Ｓｑ及び進行方向Ｓｄを取得し、特徴領域に対応する位置Ｑ１から、中心線Ｌに沿って、取得した進行方向Ｓｄに取得した移動量Ｓｑだけ離れた現在位置Ｑ２を算出し、算出された現在位置Ｑ２を表す指標Ｍを表示された中心線Ｌ上に表示させたため、管状組織の内視鏡画像だけでは管状組織内の内視鏡の位置が把握できない場合であっても、内視鏡の移動距離及び進行方向に基づいて管状組織内での内視鏡の位置を的確に把握することができる。このことにより、管状組織の湾曲部分の接近や、管状組織の進行方向を予測することでき、手術や検査等において内視鏡の管状組織での円滑な移動を支援し、手技のミス等の防止に資する。

本第１の実施形態では、図５に示すように、特徴領域ごとに基準位置を決定することにより、内視鏡１の撮影部１Ａの位置Ｅ２と現在位置Ｑ２の位置のずれを修正することができ、より正確に内視鏡の基準位置Ｐ１’を切り替えて決定できるため、より正確に仮想内視鏡の視点の位置Ｑ２’を算出することができる。内視鏡１の撮影部１Ａの位置Ｅ１と現在位置Ｑ２のずれは、内視鏡が管状組織の長手方向に沿って移動する経路が管状組織の中心線と必ずしも一致しないことや、被検体の体位や内視鏡の移動により管状組織が伸縮、変形することにより不可避的に生ずるものであるため、特徴領域毎に基準位置を決定することにより、中心線上の指標がより正確な位置に表示されるため、内視鏡の位置をより的確に捉えることができる。

図６Ｂはガイド画像５１上での現在位置Ｑ２の表示の変形例を示す図である。図６Ｂに示すように、本第１の実施形態の現在位置表示手段１６の変形例として、算出された現在位置Ｑ２を表す指標だけでなく、他の指標をさらに表示するものであってもよい。例えば、現在位置表示手段１６が、中心線Ｌとともに管状組織５２をさらに表示するものであってもよい。この管状組織は、被検体の３次元画像から抽出して得られたものでもよく、管状組織のモデル等でもよい。また、管状組織は、周知の様々な方法で表示することができ、例えば、適宜任意の透明度を設定され、多色または白黒等の任意の色でボリュームレンダリング法等の周知の表示方法により表示することができる。現在位置表示手段１６は、現在位置Ｑ２を先端とする模式的な内視鏡５３をさらに表示するものであってもよい。現在位置表示手段１６は、特徴領域Ｒを表す指標をさらに表示するものであってもよい。図６Ｂにおいては、特徴領域Ｒを表す指標として特徴領域Ｒ_Ｖ１に対応する位置Ｑ１を表す指標を点で表示している。上記の現在位置表示手段１６の変形例によれば、中心線Ｌだけでなく、管状組織や模式的な内視鏡を併せて表示することにより、より管状組織内での内視鏡の姿勢や位置を的確に捉えることができる。

本実施形態のように基準位置決定手段１３が、ユーザによる仮想内視鏡画像上の特徴領域Ｒ_Ｖ１の指定を受け付けることにより、内視鏡１の基準位置Ｐ１の入力および管状組織の特徴領域Ｒ_Ｖ１に対応する位置の設定を同時に行った場合は、入力操作がより簡潔となるため、本発明の内視鏡診断支援をより効率よく行える。なお、基準位置Ｐ１と管状組織の特徴領域Ｒ_Ｖ１に対応する位置Ｑ１を対応付けるために、特徴領域Ｒ_Ｖ１の一部を指定する代わりに、予め抽出された複数の特徴領域Ｒ_Ｖ１、Ｒ_Ｖ２に対応する位置Ｑ１、Ｑ２を選択可能に表示し、マウス等の入力装置により内視鏡１の基準位置Ｐ１に対応する特徴領域Ｒ_Ｖ１を表す位置Ｑ１を設定してもよい。

また、本実施形態の変形例として、基準位置決定手段１３は、基準位置Ｐ１と管状組織の特徴領域Ｒ_Ｖ１に対応する位置Ｑ１を対応付けられるのであれば、基準位置Ｐ１と管状組織の特徴領域Ｒ_Ｖ１に対応する位置Ｑ１との対応付けと基準位置Ｐ１の決定とを別々のタイミングに行ってもよく、どちらを先に行ってもよい。例えば、ＷＳディスプレイ８の画面上に基準位置決定ボタンを選択可能に表示し、ユーザのマウス等による基準位置決定ボタンの選択操作により、基準位置決定手段１３が内視鏡１の基準位置Ｐ１の取得を指示する入力を受付け、別途、ユーザの入力装置等の入力により、内視鏡１の基準位置Ｐ１に特定される特徴領域Ｒ_Ｖ１または特徴領域Ｒ_Ｖ１に対応する中心線Ｌ上の点Ｑ１を取得して、基準位置Ｐ１と管状組織の特徴領域Ｒ_Ｖ１を表す位置Ｑ１を対応付けてもよい。

また、本実施形態では、特徴領域Ｒ_Ｖ１、Ｒ_Ｖ２に対応する位置として、予め設定した仮想内視鏡の視点Ｑ１、Ｑ１’の座標をそれぞれ対応付けているが、内視鏡の基準位置Ｐ１と管状組織の特徴領域Ｒ_Ｖ１に対応する位置Ｑ１を相互に対応付けて取得するものであればよく、仮想内視鏡の視点の位置に替えて特徴領域Ｒ_Ｖ１、Ｒ_Ｖ２から誤差として許容できる所定の範囲内の特徴領域近傍の位置を対応付けることもできる。また、内視鏡の基準位置Ｐ１と管状組織の特徴領域Ｒ_Ｖ１に対応する位置Ｑ１を相互に対応付けられるのであれば、特徴領域Ｒ_Ｖ１、Ｒ_Ｖ２を表す中心線Ｌ上の点Ｑ１、Ｑ２を必ずしも予め抽出する必要はなく、内視鏡画像３１に特徴領域Ｒ_Ｖ１を表示させて内視鏡１の基準位置Ｐ１の入力を行ってから、特徴領域Ｒ_Ｖ１に対応する位置Ｑ１を抽出してもよい。例えば、特徴領域Ｒ_Ｖ１に対応する位置Ｑ１を、内視鏡１の基準位置Ｐ１の入力を行ったのちに、手動で仮想内視鏡の視点を移動させて仮想内視鏡画像３１に特徴領域Ｒ_Ｖ１を表示した際の仮想内視鏡の視点の位置として設定してもよく、中心線Ｌを表示して、中心線上でユーザが入力装置により選択した位置として設定してもよい。

また、本発明の第１の実施形態では、中心線Ｌに沿って、視点を移動させた仮想内視鏡画像４１を生成する仮想内視鏡画像生成手段１２と、生成された仮想内視鏡画像４１を表示する表示手段８とをさらに備え、基準位置Ｐ１の決定は、表示された仮想内視鏡画像４１および内視鏡画像３１の両方に管状組織内の特徴領域Ｒ_Ｖ１が表示されたときに行われるものであるため、仮想内視鏡３１の視点の位置Ｐ１と内視鏡の撮影部１Ａの位置Ｅ１が精度よく一致するため、仮想内視鏡３１の視点の位置Ｐ１に基づいて算出された視点の位置Ｐ２が精度よく内視鏡の撮影部１Ａの位置Ｅ２を表したものとなり、より的確に内視鏡の撮影部の位置１Ａ（先端部の位置）を把握することができる。つまり、より正確に内視鏡の基準位置Ｐ１を設定でき、より正確に仮想内視鏡の視点の位置Ｑ２を算出することができる。この結果、中心線上の指標Ｍがより正確な位置に表示されるため、さらに移動された内視鏡の位置をより的確に捉えることができる。特に、同じ特徴領域を仮想内視鏡画像４１と内視鏡画像３１の両画像上で同じ程度の位置または同程度の大きさで表しているため、さらに上記効果が著しい。

なお、仮想内視鏡画像および内視鏡画像の両方に管状組織内の同じ特徴領域が表示される際に、最初に仮想内視鏡画像で仮想内視鏡画像の視点を移動させて管状組織内の特徴領域を表示しておいて、その後内視鏡画像で内視鏡の移動に応じて管状組織内の同じ特徴領域を表示してもよく、最初に内視鏡画像で内視鏡の移動に応じて管状組織内の特徴領域を表示しておいて、その後仮想内視鏡画像で仮想内視鏡画像の視点を移動させて管状組織内の同じ特徴領域を表示してもよく、両画像で同時に管状組織内の同じ特徴領域を表示してもよい。

また、基準位置Ｐ１の入力は、内視鏡の基準位置Ｐ１と基準位置Ｐ１によって特定される管状組織の特徴領域Ｒ_Ｖ１を相互に対応付け可能であれば、表示された仮想内視鏡画像４１および内視鏡画像３１の両方に管状組織内の特徴領域Ｒ_Ｖ１が表示されたときに必ずしも行われる必要はなく、内視鏡画像３１のみに管状組織内の特徴領域Ｒ_Ｖ１が表示されたときであっても行うことができる。例えば、内視鏡画像３１に管状組織の特徴領域が表示されたときに内視鏡１の基準位置Ｐ１を決定し、ＷＳディスプレイ８に予め抽出された複数の特徴領域Ｒ_Ｖ１、Ｒ_Ｖ２に対応する各位置を選択可能に表示し、マウス等の入力装置により特徴領域Ｒ_Ｖ１に対応する位置を選択し、基準位置Ｐ１と特徴領域Ｒ_Ｖ１と対応する位置Ｑ１を対応付けてもよい。

移動量取得手段１４は、本第１の実施形態では、内視鏡１のプローブ１Ｂ外表面に付された数値を取得し、内視鏡１の管状組織への挿入深さを計測することにより、内視鏡の移動量および移動方向を取得したため、簡易な装置及び方法により内視鏡の移動量および移動方向を取得することができる。なお、移動量および移動方向の取得方法は本実施形態の方法に限られるものでなく、内視鏡１の管状組織の長手方向への移動方向及び移動量を測定可能なものであれば、あらゆる方法を適用できる。例えば、内視鏡１のプローブ１Ｂ外表面に付された数値Ｓｃ１およびＳｃ２をユーザが読み取って、対話式ＧＵＩでキーボード等から入力し、移動量取得手段１４が入力された数値Ｓｃ１、Ｓｃ２を取得するようにしてもよい。

また、仮想内視鏡の視点Ｑ２を表す指標Ｍは、識別可能に位置を表示するものであれば何でもよい。例えば、指標は、十字マークでもよいし、点、円、矩形、矢印、閉曲面など、位置を示すことができる周知の指標を用いることができる。また、指標Ｍは、中心線Ｌ上の特徴領域を表す点Ｑ２を中心に中心線Ｌに沿って予想される誤差の範囲を加味した、中心線Ｌ上の任意の点を表すようにしてもよい。

モダリティ５は、上記のＣＴ装置のほか、ＭＲＩ装置等の仮想内視鏡画像を再構成可能なボリュームデータを取得できるモダリティを用いることができる。

また、ガイド画像５１には、内視鏡による観察を継続する間、内視鏡１の移動に時間的に連動して仮想内視鏡の視点の位置が算出されて、ガイド画像５１の中心線Ｌ上に視点の位置を表す指標Ｍが表示されるため、医師等のユーザは、ガイド画像５１の中心線により大腸の経路を把握し、その上の指標Ｍにより大腸内の内視鏡の位置を適宜参考にしつつ、内視鏡の操作を行うことができる。このため、湾曲部や目標の診断部位への内視鏡１の接近を、動的に、より的確に捉えることが可能になる。

また、上記管状組織は、内視鏡を挿入可能なものであれば何でもよく、上記特徴領域は、ユーザ等が管状組織内の他の領域と識別可能な形態を有する領域であれば何でもよい。例えば、特徴領域は、円、矩形、矢印、閉曲面など、様々な手法で示すことができる。例えば、前記管状組織が大腸であり、前記特徴領域は肛門管および脾彎曲部および肝彎曲部のいずれかを含むものであってもよい。また、前記管状組織が気管支であり、前記特徴領域は喉頭および気管支分岐部のいずれかを含むものであってもよい。また、前記管状組織が食道であり、前記特徴領域は咽頭および噴門のいずれかを含むものであってもよい。また、管状組織内の腫瘍等の凹凸を有する領域を特徴領域としてもよい。

本実施形態では、仮想内視鏡画像上で管状組織内の複数の特徴領域Ｒ_Ｖ１、Ｒ_Ｖ２をユーザがマウス等の入力装置でそれぞれ指定することにより、管状組織の複数の特徴領域Ｒ_Ｖ１、Ｒ_Ｖ２が予め抽出されているが、管状組織の複数の特徴領域Ｒ_１、Ｒ_２、Ｒ_３、…Ｒ_ｎを予め定義した管状組織の中心線の形状モデルと３次元画像データから得られた中心線Ｌとのマッチングを行うことにより、形状モデル上の複数の特徴領域Ｒ_１、Ｒ_２、Ｒ_３、…Ｒ_ｎと対応する中心線Ｌ上での特徴領域Ｒ_Ｖ１、Ｒ_Ｖ２、Ｒ_Ｖ３、…Ｒ_Ｖｎを自動抽出されてもよい。

第１の実施形態の変形例として、第１の実施形態による内視鏡観察支援装置に不図示の警告部１８を付加した構成としてもよい。

この警告部１８は、画像処理ワークステーション９に実装される処理部であり、図３に示す第１の実施形態のＳ０８の後、中心線上の仮想内視鏡の視点の位置Ｑ２と予め指定した注目部位Ｗ１の位置との間の距離が所定の閾値よりも小さい場合、すなわち、内視鏡１が予め指定した注目部位Ｗ１に接近している場合に、警告WMをガイド画像５１上に出力するものである。警告WMは、仮想内視鏡の視点の位置Ｑ２を表す指標Ｍを点滅させるまたは、指標Ｍの色を識別可能な色に変化させる。これにより、管状組織内で、内視鏡１の移動の際気をつけるべき部位を、予め注目部位Ｗ１として登録することにより、管状組織内で、内視鏡１が注目部位Ｗ１に接近した状態を容易に認識することが可能になり、内視鏡１の誤操作の未然防止に資する。なお、警告を外部に出力する方法は、上記の方法の他、警告音や音声を出力する方法であってもよいし、警告メッセージの重畳表示と警告音等の出力の両方を行ってもよい。

上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。

この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。

１ 内視鏡
２ デジタルプロセッサ
３ 光源装置
４ 内視鏡画像用ディスプレイ
５ モダリティ
６ 処置具
７ 位置検出部
８ 画像処理ワークステーション用ディスプレイ
９ 画像処理ワークステーション
１１ ３次元画像取得手段
１２ 仮想内視鏡画像生成手段
１３ 入力手段
１４ 移動量取得手段
１５ 位置算出手段
１６ 現在位置表示手段
１７ 中心線取得手段

Claims (12)

1. 予め取得した被検体の３次元画像から前記被検体の管状組織の中心線を取得する中心線取得手段と、
   前記管状組織に挿入された内視鏡を前記管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示する内視鏡画像表示手段と、
   表示された前記内視鏡画像に前記管状組織の１つの特徴領域が表示されたときに、前記内視鏡の位置を基準位置として決定するとともに前記中心線上に前記１つの特徴領域に対応する位置を設定する基準位置決定手段と、
   前記基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得する移動量取得手段と、
   前記１つの特徴領域に対応する位置から、該中心線に沿って、前記取得した進行方向に前記取得した移動量だけ離れた位置を、現在位置として算出する現在位置算出手段と、
   算出された前記現在位置を表す指標を、前記中心線上に表示させる現在位置表示手段とを備えたことを特徴とする内視鏡観察支援装置。
2. 前記中心線に沿って、視点を移動させた仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
   前記生成された仮想内視鏡画像を表示する表示手段とをさらに備え、
   前記基準位置の決定は、表示された前記仮想内視鏡画像および前記内視鏡画像の両方に前記管状組織内の特徴領域が表示されたときに行われるものであることを特徴とする請求項１記載の内視鏡観察支援装置。
3. 前記基準位置決定手段は、前記管状組織内の異なる特徴領域ごとに前記基準位置を決定するものであることを特徴とする請求項１または２記載の内視鏡観察支援装置。
4. 前記現在位置表示手段は、前記中心線とともに前記管状組織をさらに表示するものであることを特徴とする請求項１から３のいずれか１記載の医用画像処理装置。
5. 前記現在位置表示手段は、前記視点の位置を先端とする模式的な内視鏡をさらに表示するものであることを特徴とする請求項１から４のいずれか１項記載の内視鏡観察支援装置。
6. 前記現在位置表示手段は、前記特徴領域を表す指標をさらに表示するものであることを特徴とする請求項１から５のいずれか１項記載の内視鏡観察支援装置。
7. 前記移動量取得手段は、前記管状組織外に露出した前記内視鏡のプローブの移動量及び移動方向を取得するものであることを特徴とする請求項１から６のいずれか１項記載の内視鏡観察支援装置。
8. 前記管状組織は、大腸であり、
   前記特徴領域は肛門管および脾彎曲部および肝彎曲部のいずれかを含むものであることを特徴とする請求項１から７のいずれか１項記載の内視鏡観察支援装置。
9. 前記管状組織は、気管支であり、
   前記特徴領域は喉頭および気管支分岐部のいずれかを含むものであることを特徴とする請求項１から８のいずれか１記載の内視鏡観察支援装置。
10. 前記管状組織は、食道であり、
    前記特徴領域は咽頭および噴門のいずれかを含むものであることを特徴とする請求項１から９のいずれか１記載の内視鏡観察支援装置。
11. 予め取得した被検体の３次元画像から被検体の管状組織の中心線を取得し、
    前記管状組織に挿入された内視鏡を前記管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示し、
    表示された前記内視鏡画像に前記管状組織の１つの特徴領域が表示されたときに、前記内視鏡の基準位置を入力するとともに前記中心線上に前記１つの特徴領域に対応する位置を設定し、
    前記基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得し、
    前記１つの特徴領域に対応する位置から、前記中心線に沿って、前記取得した進行方向に前記取得した移動量だけ離れた位置を現在位置として算出し、
    算出された前記現在位置を表す指標を前記中心線上に表示させることを特徴とする内視鏡観察支援方法。
12. コンピュータを、
    予め取得した前記被検体の３次元画像から被検体の管状組織の中心線を取得する中心線取得手段と、
    前記管状組織に挿入された内視鏡を前記管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示する内視鏡画像表示手段と、
    表示された前記内視鏡画像に前記管状組織の１つの特徴領域が表示されたときに、前記内視鏡の位置を基準位置として決定するとともに前記中心線上に前記１つの特徴領域に対応する位置を設定する基準位置決定手段と、
    前記基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得する移動量取得手段と、
    前記１つの特徴領域に対応する位置から、前記中心線に沿って、前記取得した進行方向に前記取得した移動量だけ離れた位置を現在位置として算出する現在位置算出手段と、
    算出された前記現在位置を表す指標を前記中心線上に表示させる現在位置表示手段として機能させることを特徴とする内視鏡観察支援プログラム。