JP5810248B2 - 内視鏡システム - Google Patents

Description

本発明は被検体の所定臓器内を観察する内視鏡システムに関する。

近年、医療分野等において撮像手段を備えた内視鏡が広く用いられるようになっている。また、内視鏡の挿入部が挿入される被検体内の臓器の形状等は、内視鏡では知ることができないため、挿入状態を把握したり、病変位置を特定できるようにＸ線装置が併用される場合がある。
これに関連して、例えば第１の従来例としての日本国特開２００３−２２５１９５号公報においては、Ｘ線装置を併用することなく、モニタ画面に内視鏡の挿入部の屈曲形状を表示すると共に、この挿入部が挿入される臓器の形状を表示し、更に臓器の形状を補正するモニタ装置を開示している。
また、第２の従来例としての日本国特開２０１０−２４００００号公報においては、体腔内をカプセル内視鏡の撮像部により撮像し、画像処理装置は、カプセル内視鏡により取得した画像データに基づいて、体腔内の３次元モデルの診断画像を生成するシステムを開示している。より具体的には、「胃」、「小腸」等の各部位における既存の３次元モデル（画像）に、カプセル内視鏡で撮像した画像を貼り付けて３Ｄの診断用画像を生成することを開示している。

しかしながら、上記第１の従来例は、臓器の立体モデル画像に対して、撮像した際の位置情報に基づく撮像画像（又は内視鏡画像）を貼り付けることを開示していないため、立体モデル画像上での撮像画像（又は内視鏡画像）を確認しにくい欠点がある。
また、第２の従来例は、立体モデル画像に対して、撮像画像（又は内視鏡画像）を貼り付けることを開示しているが、撮像画像が貼り付けられる立体モデル画像に対して、現在の挿入形状の状態を把握し易くする挿入形状情報を提示（表示）することを開示していない。このため、被検体内の所定臓器の立体モデル画像、撮像画像（又は内視鏡画像）、挿入形状の関係を提示することにより、病変部位の検査等を行い易くすることが望まれる。
本発明は上述した点に鑑みてなされたもので、所定臓器の立体モデル画像、撮像画像（又は内視鏡画像）、挿入形状の関係を把握し易いように提示し、病変部位の検査等を行い易くすることができる内視鏡システムを提供することを目的とする。

本発明の一態様に係る内視鏡システムは、被検体内に挿入される挿入部と、前記被検体内を撮像する撮像部とを備えた内視鏡と、前記撮像部の位置情報を取得する撮像情報取得部と、前記被検体内における前記挿入部の挿入形状情報を取得する挿入形状情報取得部と、前記被検体内における所定臓器を模擬する立体モデル画像に対して、前記挿入形状情報取得部において取得された前記挿入形状情報に基づく挿入形状画像を重畳すると共に、前記撮像情報取得部により取得された前記撮像部の位置情報に基づいて前記撮像部で撮像した撮像画像を貼り付けて提示する制御部と、を備える。

図１は本発明の第１の実施形態の内視鏡システムの全体構成を示す斜視図。 図２は本発明の第１の実施形態の内視鏡システムの内部構成を示す図。 図３は光源装置が発生する照明光の波長分布を示す特性図。 図４はモニタに表示される内視鏡画像と貼り付け画像が貼り付けられた３Ｄモデル画像とを示す図。 図５は第１の実施形態の処理例を示すフローチャート。 図６は３Ｄモデル画像上に内視鏡画像を貼り付ける場合の説明図。 図７は現在の視野角を３Ｄモデル画像上に表示した様子を示す図。 図８は本発明の第２の実施形態の内視鏡システムの内部構成を示す図。 図９は平面モデル画像で表される膀胱内面の各領域を示す図。 図１０は第２の実施形態の処理例を示すフローチャート。 図１１は３Ｄモデル画像と平面モデル画像上に貼り付け画像を表示した様子を示す図 図１２は本発明の第３の実施形態の内視鏡システムの内部構成を示す図。 図１３Ａは病変部位が存在する方向を表す方向情報としての矢印を表示した内視鏡画像を示す図。 図１３Ｂは方向情報としての矢印の他に病変部位（又はその画像）までの距離を表す距離情報を表示した内視鏡画像を示す図。 図１３Ｃは図１３Ａの矢印とは異なる形態の方向情報を表示した内視鏡画像を示す図。 図１４は病変部位が存在する方向及び距離を表すベクトルを算出する説明図。 図１５は本発明の第４の実施形態の内視鏡システムの内部構成を示す図。 図１６Ａは第４の実施形態の処理例を示すフローチャート。 図１６Ｂは第４の実施形態の第１変形例の処理例を示すフローチャート。 図１７は第４の実施形態の第２変形例の平面モデル画像の表示例を示す図。 図１８は第４の実施形態の第３変形例の平面モデル画像の表示例を示す図。 図１９は第４の実施形態の第３変形例の平面モデル画像の表示例を示す図。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に示すように本発明の第１の実施形態の内視鏡システム１は、ベッド２に横たわる被検体としての患者Ｐ内に挿入して観察又は検査するための内視鏡３と、内視鏡３に照明光を供給する光源装置４と、内視鏡３の撮像手段（又は撮像部）に対する信号処理を行う信号処理装置としてのプロセッサ５と、プロセッサ５により生成された画像（又は画像信号）に対する画像処理や記録等を行う画像処理装置６と、プロセッサ５により生成された内視鏡画像（又は撮像画像）と、画像処理装置６による画像処理された画像とを表示するモニタ７と、撮像手段の近傍に設けた磁気センサ８の位置を検出する磁場発生装置９とを有する。
内視鏡３は、可撓性を有する挿入部１１と、この挿入部１１の後端（基端）に設けられ、術者により把持されて湾曲等の操作が行われる操作部１２と、操作部１２から延出されるユニバーサルケーブル１３とを有する。

また、挿入部１１内には、図２に示すように照明光を伝送するライトガイド１４が挿入され、このライトガイド１４は操作部１２からユニバーサルケーブル１３を経てその手元側端部のライトガイドコネクタが光源装置４に着脱自在に接続される。なお、後述する先端部２０内に搭載された撮像部２３に接続された信号線２４は、ユニバーサルケーブル１３を経てその手元側端部となる信号用コネクタがプロセッサ５に着脱自在に接続される。
本実施形態における光源装置４は、通常光と特殊光としての狭帯域光とを切り替えて出力（発生）する機能を有する。図２に示すように光源装置４内には、発光ダイオード（ＬＥＤと略記）１５ａ、１５ｂ、１５ｃと、ミラー１６ａ，１６ｂ，１６ｃと、ＬＥＤ駆動回路１７とが設けてある。ＬＥＤ１５ａは白色光を発生し、ミラー１６ａで反射された後、ダイクロイックミラー１６ｂ，１６ｃを透過してライトガイド１４の手元側端部に入射される。

また、ＬＥＤ１５ｂと１５ｃは、中心波長が４１５ｎｍ付近と５４０ｎｍ付近に設定された狭帯域の青の光（Ｂｎ）と緑の光（Ｇｎ）をそれぞれ発生する。ＬＥＤ１５ｂによる狭帯域光Ｂｎは、ダイクロイックミラー１６ｂにより選択的に反射された後、ダイクロイックミラー１６ｃを透過してライトガイド１４の端部に入射される。
また、ＬＥＤ１５ｃによる狭帯域光Ｇｎは、ダイクロイックミラー１６ｃにより選択的に反射された後、ライトガイド１４の手元側端部に入射される。図３は、ＬＥＤ１５ａが発生する白色光Ｗの波長分布と、ＬＥＤ１５ｂと１５ｃとがそれぞれ発生する狭帯域光Ｂｎ，Ｇｎの波長分布の特性例を示す。
本実施形態においては、通常光として白色光Ｗを発生し、特殊光として２つの狭帯域光Ｂｎ，Ｇｎを発生する構成にしているが、この場合に限定されるものでない。例えば、特殊光として狭帯域光Ｂｎ又はＧｎを発生する構成にしても良いし、励起光を発生し、蛍光を観察する構成にしても良い。

内視鏡３の操作部１２には、通常光観察モード（又は白色光観察モード、ＷＬＩモードとも言う）と狭帯域光観察モード（ＮＢＩモードとも言う）とにおける一方の観察モードから他方の観察モードへの切り替えの操作を行うモード切替スイッチＳＷ１と、レリーズの操作を行うレリーズスイッチＳＷ２とを備えたスコープスイッチ１８が設けてある。
内視鏡３の操作部１２を把持する術者によりモード切替スイッチＳＷ１が操作されると、切替信号がプロセッサ５内の制御回路５ａと、この制御回路５ａをスルーして光源装置４に送られ、光源装置４は、切替信号に対応して、ＬＥＤ駆動回路１７はＬＥＤ１６ａと、ＬＥＤ１６ｂ、１６ｃの発光を切り替える。また、プロセッサ５は、切替信号に対応した信号処理を行う。
また、レリーズスイッチＳＷ２を操作した場合のレリーズ指示信号は、プロセッサ５（内の制御回路５ａを）スルーし、画像処理装置６内の制御手段（又は制御部）を構成する中央処理装置（ＣＰＵと略記）３１に入力し、ＣＰＵ３１は、内視鏡画像を記録する制御動作を行う。

なお、プロセッサ５に着脱自在に接続される内視鏡３は、当該内視鏡３に搭載されている撮像手段を構成する撮像部２３の撮像系の情報としての焦点距離、視野角（視野範囲）等の情報を格納した撮像系情報格納手段（又は撮像系情報格納部）を形成するリードオンリメモリとしてのＲＯＭ１９を信号用コネクタ、又は操作部１２内に備えている。そして、内視鏡３の信号用コネクタがプロセッサ５に接続されると、プロセッサ５の制御回路５ａは、ＲＯＭ１９のデータを読み出し、読み出したデータをＣＰＵ３１に送る。なお、ＲＯＭ１９以外の記録媒体を用いても良い。
ＣＰＵ３１は、プロセッサ５から転送されたデータから、撮像部２３の撮像系の情報を取得し、必要に応じて、その情報を参照する。なお、ＲＯＭ１９が撮像系の情報を格納しないで、内視鏡３に固有の識別情報としてのＩＤを格納し、プロセッサ５が読み出したＩＤから、ＩＤに対応する内視鏡３に搭載された撮像部２３の撮像系の情報を取得できるようにしても良い。

ライトガイド１４の手元側端部に入射されされた照明光は、ライトガイド１４によりその先端面に伝送される。ライトガイド１４の先端面は、挿入部１１の先端部２０に設けた照明窓に配置され、照明窓を経て照明窓の外側の被検体側に照明光を出射する。光源装置４及びライトガイド１４は、通常光と特殊光とを切り替えて被検体側に照射し、被検体側を照明する照明手段（又は照明部）を形成する。
本実施形態においては、挿入部１１は患者Ｐにおける尿道を経て所定臓器としての膀胱Ｂ内に挿入されるため、照明光は膀胱Ｂ内に照射され、膀胱Ｂ内面を照明する。
挿入部１１の先端部２０には、図２に示すように対物レンズ２１と、その結像位置に配置された電荷結像素子（ＣＣＤと略記）２２とが配置され、対物レンズ２１とＣＣＤ２２とにより、所定臓器内を撮像する撮像手段を構成する撮像部（又は撮像ユニット）２３が形成される。撮像部２３は、照明光で照明された部位を撮像し、光電変換した電気信号としての撮像信号を出力する。

なお、ＣＣＤ２２は、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長帯域に画素単位で色分離するモザイクフィルタ２２ａを備えている。従って、例えば白色光で照明する通常光観察モード（ＷＬＩモード）の場合には、ＣＣＤ２２はモザイクフィルタ２２ａにより色分離した広帯域のＲ，Ｇ，Ｂ信号を出力し、ＮＢＩモードの場合には、ＬＥＤ１６ｂ、１６ｃの照明光の下での撮像により、ＣＣＤ２２はモザイクフィルタ２２ａにより色分離した狭帯域のＧ，Ｂ信号（Ｇｎ，Ｂｎ信号と略記）を出力する。
プロセッサ５は、ＣＣＤ駆動回路（又はＣＣＤ駆動部）５ｂを有し、ＣＣＤ駆動回路５ｃにより生成したＣＣＤ駆動信号を、内視鏡３内を挿通された信号線２４を経てＣＣＤ２２に印加する。この印加によりＣＣＤ２２は、光電変換した撮像信号を、内視鏡３内を挿通された信号線２４を経てプロセッサ５に設けた信号処理回路（又は信号処理部）５ｃに出力する。

信号処理回路５ｂは、モニタ７に表示するための（ＣＣＤ２２により撮像した画像を）内視鏡画像として表示する映像信号（画像信号）を生成する。図１にも示すように挿入部１１は膀胱Ｂ内に挿入されるため、膀胱Ｂ内で撮像した画像に対応する画像信号を生成する。信号処理回路５ｂにより生成した動画の画像信号は、モニタ７に出力され、モニタ７は動画の画像信号に対応する内視鏡画像（撮像画像）を表示する。本明細書においては内視鏡画像と撮像画像とは同じ意味である。
このモニタ７は、ＰinＰ（Picture In Picture）機能を有し、内視鏡画像と共に、後述する膀胱Ｂを模擬した立体モデル画像（３Ｄモデル画像と言う）及び挿入部１１の先端側の挿入形状画像とを表示する。
なお、モニタ７のＰinＰ機能を利用しないで、内視鏡画像（の画像信号）を画像処理装置６に入力し、画像処理装置６内において、内視鏡画像（の画像信号）と、挿入形状画像（の画像信号）とを重畳する画像重畳手段（又は画像重畳部）を設けるようにしても良い。

例えば、プロセッサ５内の信号処理回路５ｂにより生成された内視鏡画像を、画像処理装置６内のメモリ３３における例えば（図示しない）第１フレームメモリの第１の所定エリアに一時格納し、第２フレームメモリの第２の所定エリアに３Ｄモデル画像を一時格納し、第３フレームメモリの第３の所定エリアに挿入形状画像を一時格納し、３つのフレームメモリから同時に読み出した３つの画像を表示Ｉ／Ｆ３５において重畳して、重畳した画像をモニタ７に出力するようにしても良い。この場合には、（図１に示すように）表示Ｉ／Ｆ３５が画像重畳部（又は画像重畳回路）３５ａの機能を持つ。
なお、画像重畳部３５ａは、（モニタ７によるＰinＰにより）内視鏡画像の重畳を行わない場合においても、３Ｄモデル画像と挿入形状画像との画像の重畳を行い、３Ｄモデル画像上に、挿入形状画像が重畳された重畳画像を生成する。また、本実施形態においては、レリーズ操作が行われた場合には、内視鏡画像（撮像画像）の記録（記憶）を行うと共に、記録（記憶）される内視鏡画像（撮像画像）を３Ｄモデル画像Ｍ１上における撮像された位置に、撮像された距離に応じたサイズで貼り付ける処理を行うようにしている。

モニタ７によるＰinＰと画像重畳部３５ａの機能により、モニタ７の表示面には、図４に示すように２つの画像が表示される。具体的には、モニタ７の表示画面の左側の内視鏡画像表示エリア（又はリアル画像表示エリア又は撮像画像表示エリア）としての第１エリア４１には内視鏡画像（撮像画像）Ｉｅが表示され、右側の３Ｄ画像表示エリアとしての第２エリア４２には３Ｄモデル画像Ｍ１上に挿入部１１の形状を重畳した挿入形状画像Ｉｉが表示される。なお、第２エリア４２には挿入形状画像Ｉｉが重畳された３Ｄモデル画像Ｍ１としての合成画像が表示されると言うこともできる。
また、ユーザとしての術者によりレリーズ操作が行われた場合には、３Ｄモデル画像Ｍ１上における撮像された位置において、撮像された距離に応じたサイズの内視鏡画像（撮像画像）が貼り付けられた状態（貼り付けられた状態の内視鏡画像（撮像画像）を貼り付け画像Ｉｐという）で提示（表示）される。

また、本実施形態においては、挿入部１１の先端部２０に配置した撮像部２３の３次元位置と、撮像部２３の視線方向とを検出することができるように、図１の拡大図に示すように先端部２０におけるＣＣＤ２２の近傍位置に、２つの位置センサを構成する２つの磁気コイル８ａからなる磁気センサ８を配置している。
図２に示すように磁気センサ８は、内視鏡３内に挿通された信号線８ｂを介して画像処理装置６内の位置方向検出部３４に接続される。位置方向検出部３４は、２つの磁気コイル８ａの３次元位置を検出することにより、撮像部２３の位置と撮像部２３が撮像する視線方向とを算出する。
具体的には、位置方向検出部（又は位置方向検出回路）３４は、磁場発生装置９を駆動する駆動回路３７を制御して、駆動回路３７から信号線９ａを介して磁場発生装置９に磁場発生用の駆動信号を印加して所定の磁場を発生させ、その磁場を２つの磁気コイル８ａにより検出し、検出された磁場の検出信号から、２つの磁気コイル８ａの３次元位置としてのセンサ情報を取得し、２つの磁気コイル８ａの３次元位置付近の撮像部２３の３次元位置座標（ｘ、ｙ、ｚ）と、その視線方向のデータ（すなわちオイラー角（ψ、θ、φ））を位置方向情報、をリアルタイムで生成する。

なお、位置方向検出部３４が２つの磁気コイル８ａの３次元位置（ｘ、ｙ、ｚ）をセンサ情報として取得（検出）する場合、図１に示すように磁場発生装置９付近を原点Ｏ_０とした第１の座標系（Ｘ_０，Ｙ_０，Ｚ_０）で生成（検出）する。また、後述するように挿入部１１の先端部２０が膀胱Ｂ内に挿入された場合には、座標変換手段（又は座標変換部）は、第１の座標系（Ｘ_０，Ｙ_０，Ｚ_０）から膀胱Ｂを模擬した球体としての３Ｄモデル画像Ｍ１の中心を原点Ｏ_２とした第２の座標系（Ｘ_２，Ｙ_２，Ｚ_２）に変換して、貼り付け処理等を行うことになる。
上記位置方向検出部３４は、磁気センサ８からの位置情報及び方向情報を取得して、撮像手段としての撮像部２３の位置情報及び視線情報を検出する撮像情報取得手段を形成する撮像情報取得部（又は撮像情報取得回路）３４ａの機能を有する。
なお、磁気センサ８は、先端部２０に設けてあるため、位置方向検出部３４は、撮像部２３の位置（情報）と視線方向（情報）を算出する機能を持つと共に、先端部２０の位置（情報）と、その（長手）方向（情報）を算出する機能を持つ。このため、位置方向検出部３４は、先端部２０の位置及び方向を算出（検出）する表現も用いる。

撮像情報取得部３４ａが、撮像手段としての撮像部２３の位置情報及び視線情報を検出する場合に限定されるものでなく、撮像情報取得部３４ａが、撮像手段としての撮像部２３の位置情報のみを取得する構成にしても良い。
また、本実施形態においては、位置方向検出部３４により算出された先端部２０の位置及び方向を所定の周期で時系列に記憶する。
例えばメモリ３３は、算出された先端部２０の位置及び方向を時系列に記憶し、メモリ３３に時系列に記憶された過去の情報を参照して位置方向検出部３４は現在の先端部２０の位置及び方向を算出することにより、所定臓器としての膀胱Ｂ内に挿入される挿入部１１の（主に先端側の）挿入形状を算出する。
このため、位置方向検出部３４は、挿入部１１が所定臓器としての膀胱Ｂ内に挿入された場合の挿入形状情報を取得する挿入形状情報取得手段を構成する挿入形状情報取得部（又は挿入形状情報取得回路）３４ｂの機能を持つ。なお、撮像情報取得部３４ａが、挿入形状情報取得部３４ｂの機能を備える構成にしても良い。或いは、挿入形状情報取得部３４ｂが、先端部２０又は撮像部２３の位置情報を取得する機能を備える構成にしても良い。

挿入部１１は、図２に示すように先端部２０の手元側端部には、上下方向と、左右方向とに湾曲自在の湾曲駒２５ａを設けた湾曲部２５が設けてある。なお、図２においては、簡略化して例えば上下方向にのみ、湾曲可能とするリベット２５ｂを設けた例で示しているが、実際には上下方向と左右方向とに交互に湾曲自在とするようにリベット２５ｂが設けてある。
また、挿入部１１内には、牽引することにより、湾曲駒２５ａを上下方向と左右方向とにそれぞれ湾曲させるワイヤ２６が挿通され、ワイヤ２６の先端は先端部２０を構成する先端部材に固定され（図示略）、ワイヤ２６の後端は操作部１２内に配置したプーリ２７に巻回されている。
そして、術者は、プーリ２７に連結された湾曲ノブ２８を回動する操作を行うことにより、湾曲部２５を上下、左右における任意の方向に湾曲することができるようにしている。湾曲部２５を湾曲させることにより、湾曲部２５の先端に設けた撮像部２３の撮像方向を可変することができる。湾曲部２５を大きく湾曲させることにより、膀胱Ｂに挿入した入口となる頸部ＰＲ側の内壁面を観察（撮像）することができる。

図２に示すように画像処理装置６は、画像処理装置６内の各部の動作を制御する制御手段を形成するＣＰＵ３１と、プロセッサ５から出力される画像信号を取り込む画像取込部（又は画像取込回路）３２と、画像取込部３２を経て入力された画像信号を一時的に記憶したり、各種の情報を一時的に記憶したり、レリーズ操作により内視鏡画像（撮像画像）を記録する記録部を構成するメモリ３３と、磁気センサ８の検出信号から先端部２０に配置した撮像部２３の位置及び視線方向とを検出する位置方向検出部３４とを有する。
また、画像処理装置６は、モニタ７に内視鏡画像等を表示する表示インタフェース（表示Ｉ／Ｆ）３５と、各種のデータの入力を行う入力部（又はユーザＩ／Ｆ）３６と、磁場発生装置９を駆動する駆動回路３７と、を有し、ＣＰＵ３１，…，表示Ｉ／Ｆ３５、入力部３６は、データバス３８を介して互いに接続されている。

記録部（記憶部）を構成するメモリ３３には、ＣＰＵ３１により実行される各種の処理プログラム及び挿入部１１が挿入される所定臓器としての膀胱Ｂのデータを含む各種のデータが記憶されており、ＣＰＵ３１は、挿入部１１の先端部２０が挿入される膀胱Ｂを模擬する立体モデル（３Ｄモデル）画像Ｍ１を生成する。このため、ＣＰＵ３１は、所定臓器としての膀胱Ｂの３Ｄモデル画像Ｍ１を生成する３Ｄモデル画像生成部（又は３Ｄモデル画像生成回路）３１ａの機能を持つ。３Ｄモデル画像生成部３１ａは、膀胱Ｂがほぼ球形であるため、例えば図４の右側に示すように球形の形状で膀胱Ｂを模擬した３Ｄモデル画像をワイヤフレームで描画する。
また、ＣＰＵ３１は、挿入部１１の先端側が膀胱Ｂ内に挿入されると、位置方向検出部３４による先端部２０の位置及び方向の情報に基づき、挿入部１１の先端側の挿入形状画像Ｉｉを３Ｄモデル画像Ｍ１上に重畳して表示するための重畳画像を生成する。このため、ＣＰＵ３１は、挿入部１１の先端側が膀胱Ｂ内に挿入された場合の挿入形状画像Ｉｉを（３Ｄモデル画像上の重畳画像として）生成する挿入形状画像生成部（又は挿入形状画像生成回路）３１ｂの機能を有する。

なお、挿入形状画像生成部３１ｂ及びモニタ７は、生成した挿入形状画像Ｉｉをモニタ７で提示（表示）する挿入形状提示手段（又は挿入形状提示部）又は挿入形状情報提示手段（又は挿入形状情報提示部）の機能を持つ。なお、狭義には、モニタ７が挿入形状提示手段又は挿入形状情報提示手段の機能を持つと見なすことができる。
また、ＣＰＵ３１は、レリーズ操作が行われた場合、撮像部２３により撮像された内視鏡画像（撮像画像）をメモリ３３に記録（記憶）すると共に、その３Ｄモデル画像Ｍ１に貼り付ける処理を行う画像貼り付け処理部（又は画像貼り付け処理回路）３１ｃと、内視鏡画像（撮像画像）が貼り付け画像Ｉｐとして貼り付けられた３Ｄモデル画像Ｍ１を表示手段としてのモニタ７に提示（表示）する画像処理を行う提示処理部（又は提示処理回路）３１ｄと、の機能を有する。
なお、撮像部２３により撮像された撮像画像としての内視鏡画像を生成する内視鏡画像（撮像画像）生成手段は、プロセッサ５の信号処理回路５ｂにより構成されるが、信号処理回路５ｂの機能を画像処理装置６が備える構成にしても良い。また、内視鏡画像（撮像画像）を表示（提示）する内視鏡画像（撮像画像）提示手段は、狭義ではモニタ７により構成されるが、内視鏡画像（撮像画像）を表示（提示）する処理を行う画像処理装置６内の提示処理部３１ｄを含むように定義しても良い。
また、図２においては、ＣＰＵ３１が有する主要な機能を示しているが、図２に示す場合に限定されるものでなく、例えば提示処理部３１ｄが、３Ｄモデル画像生成部３１ａ、挿入形状画像生成部３１ｂ、画像貼り付け処理部３１ｃの機能を兼ねるようにしても良い。また、後述するように例えば平面モデル画像生成部（又は展開画像生成部）３１ｆの機能を提示処理部３１ｄが兼ねる構成にしても良い。

モニタ７において３Ｄモデル画像Ｍ１に貼り付けられた内視鏡画像（撮像画像）の貼り付け画像Ｉｐと、挿入形状画像Ｉｉとを参照することにより、内視鏡システム１のユーザとしての術者は膀胱Ｂ内で撮像部２３により撮像している部位等を把握し易くなる。
また、ＣＰＵ３１は、挿入部１１の先端部２０が尿道から膀胱Ｂ内に挿入された場合には、磁場発生装置９を原点Ｏ_０とした第１の座標系（Ｘ_０，Ｙ_０，Ｚ_０）で先端部２０等の位置及び方向を検出（算出）して、膀胱Ｂ内の中央を原点Ｏ_２とした第２の座標系（Ｘ_２，Ｙ_２，Ｚ_２）に位置合わせしてデータを管理する状態とで位置合わせを行う位置合わせ処理部（又は位置合わせ処理回路）３１ｅの機能を持つ。
第１の座標系（Ｘ_０，Ｙ_０，Ｚ_０）と第２の座標系（Ｘ_２，Ｙ_２，Ｚ_２）との間において、位置合わせを行う場合、例えば尿道の末端の位置でかつ膀胱Ｂ内に挿入された始点となる頸部ＰＲ（図１の拡大図参照）の位置を原点Ｏ_１とした仲介する座標系（Ｘ_１，Ｙ_１，Ｚ_１）を用いるが、この座標系（Ｘ_１，Ｙ_１，Ｚ_１）を用いること無く位置合わせを行っても良い。

この位置合わせ処理部３１ｅは、磁場発生装置９を原点Ｏ_０とした第１の座標系（Ｘ_０，Ｙ_０，Ｚ_０）から（尿道の末端の位置でかつ膀胱Ｂ内に挿入された始点となる頸部ＰＲの位置を原点Ｏ_１とした座標系（Ｘ_１，Ｙ_１，Ｚ_１）を経て）膀胱Ｂ内の中央を原点Ｏ_２とした第２の座標系（Ｘ_２，Ｙ_２，Ｚ_２）への座標変換を行う座標変換手段又は座標変換処理部（又は座標変換処理回路）の機能を兼ねる。
図１は、磁場発生装置９を原点Ｏ_０とした第１の座標系（Ｘ_０，Ｙ_０，Ｚ_０）を示すと共に、膀胱Ｂを立体モデル画像（３Ｄモデル画像）Ｍ１として模式的に拡大した拡大図において尿道の末端の位置でかつ膀胱Ｂ内に挿入された始点となる頸部ＰＲの位置を原点Ｏ_１とした座標系（Ｘ_１，Ｙ_１，Ｚ_１）と、この座標系（Ｘ_１，Ｙ_１，Ｚ_１）からＹ_１方向（Ｙ_２方向）に所定距離シフトして設定される第２の座標系（Ｘ_２，Ｙ_２，Ｚ_０）を示している。

拡大図において頸部ＰＲに対向する膀胱Ｂを模擬する球形の３Ｄモデル画像Ｍ１の頸部対向部位をＰＴで示す。第２の座標系（Ｘ_２，Ｙ_２，Ｚ_０）の原点Ｏ_２は、頸部ＰＲとその対向部位ＰＴとを結ぶ線分の中点の位置となる。また、第２の座標系（Ｘ_２，Ｙ_２，Ｚ_０）は、膀胱Ｂにおける左壁側がＸ_２方向、右壁側が−Ｘ_２方向、患者Ｐの腹部（前壁）側がＺ_２方向、患者Ｐの背中（後壁）側が−Ｚ_２方向となるように設定される。
なお、後述する平面モデル画像Ｍ２（図９，図１１等）は、拡大図におけるＸ_２，Ｙ_２を含む平面に沿って展開、又は投影したものとなる。
術者によりレリーズ操作が行われると、ＣＰＵ３１は、プロセッサ５からの内視鏡画像（又は撮像画像）をメモリ３３に記録する。つまり、メモリ３３は、内視鏡画像（又は撮像画像）を記録する内視鏡画像記録部（又は撮像画像記録部）３３ａの機能を有する。また、メモリ３３は、レリーズ操作が行われた場合、３Ｄモデル画像Ｍ１に貼り付けられる貼り付け画像Ｉｐを記録する貼り付け画像記録部３３ｂの機能を有する。
なお、本実施形態においては、撮像手段を構成する撮像部２３は、挿入部１１の先端部２０に搭載され、かつ撮像部２３の近傍に撮像部２３（又は先端部２０）の３次元位置等を検出する磁気センサ８を設けた構成の電子内視鏡を用いている。

これに対して、対物レンズ２１の結像位置に、挿入部１１内に挿通されたイメージガイドの先端面を配置し、イメージガイドの後端面に伝送された光学像をＣＣＤ等で撮像する構成にしても良い。また、イメージガイドの代わりに又はリレー光学系による像伝送手段を用いることもできる。なお、図２においてはＤモデル画像生成部３１ａ，挿入形状画像生成部３１ｂ，画像貼り付け処理部３１ｃ，停止処理部３１ｄ，位置合わせ処理部３１ｅをＣＰＵ３１により構成した例を示しているが、電子デバイス等を用いて構成しても良いし、ＦＰＧＡ等を用いて構成しても良い。後述する図８においても同様である。

このように挿入部１１内に挿通された像伝送手段を用いて撮像する場合には、磁気センサ８は、先端部２０又は先端部２０に配置された対物レンズ２１の位置などを検出する。なお、挿入部１１が硬質の挿入部である場合には磁気センサ８は、挿入部１１の先端部２０に配置することを必要としないで、先端部２０から所定の距離離間した位置、換言すると、先端部２０と所定の位置関係を保つように配置される位置に設けるようにしても良い。また、先端部２０と所定の位置関係を保つように接続される部材に設けても良い。

このように構成された本実施形態の内視鏡システム１は、被検体内に挿入される挿入部１１と、前記被検体内を撮像する撮像手段を構成する撮像部２３とを備えた内視鏡３と、前記撮像手段近傍または当該撮像手段と所定の位置関係を保つように接続される部材に設けられた磁気センサ８からの位置情報及び方向情報を取得して、前記撮像手段の位置情報及び前記挿入部１１が挿入される挿入形状情報を取得する挿入情報取得手段を構成する挿入形状情報取得部３４ｂと、前記被検体内における所定臓器を形成する膀胱Ｂを模擬する立体モデル画像Ｍ１に対して、前記撮像手段の位置情報に基づく前記撮像手段で撮像した撮像画像を貼り付け画像Ｉｐとして貼り付ける画像貼り付け手段を構成する画像貼り付け処理部３１ｃと、前記画像貼り付け手段により貼り付けられた立体モデル画像Ｍ１に対して、前記挿入情報取得手段において取得された前記挿入形状情報を対応付けて提示する挿入形状情報提示手段を構成するモニタ７と、を備えることを特徴とする。
次に本実施形態の動作を図５を参照して説明する。図５は、本実施形態により膀胱Ｂ内を内視鏡検査する場合の処理例を示す。

図１に示すように内視鏡３を光源装置４及びプロセッサ５等に接続して内視鏡３の挿入部１１の先端部２０を患者Ｐの尿道を経て膀胱Ｂ内に挿入する。
この場合、図５のステップＳ１に示すように術者は、例えば光源装置４が白色光Ｗを照明光として出力する通常光モード（ＷＬＩモード）を選択して行う。なお、内視鏡システム１の電源を投入した起動時には、通常光モードで起動するように設定しても良い。
また、ステップＳ２に示すように術者は例えば入力部３６から検査対象の所定臓器として膀胱Ｂを指定する入力を行い、この入力に従って、ＣＰＵ３１の３Ｄモデル画像生成部３１ａは、膀胱Ｂの３Ｄモデル画像Ｍ１を生成する。また、ＣＰＵ３１は、撮像部２３の撮像系の焦点距離や視野角等の情報も取得する。
ステップＳ３に示すように位置方向検出部３４は、挿入部１１の先端部２０内に設けた磁気センサ８のセンサ情報を所定の周期で取得し、先端部２０又は撮像部２３の位置及び方向情報を生成（算出）することを開始する。

また、ステップＳ４に示すように画像処理装置６は、センサ情報を取得する周期に同期して撮像部２３により撮像した撮像画像としての内視鏡画像を画像取込部３２を経て取得することを開始する。
ステップＳ５に示すように術者は内視鏡画像を観察して挿入部１１の先端部２０が膀胱Ｂ内に挿入されたか否かを判定する。なお、画像処理装置６による画像処理により、挿入部１１の先端部２０が膀胱Ｂ内に挿入されたか否かを判定するようにしても良い。次のステップＳ６に示すように位置合わせ処理部３１ｅは挿入部１１の先端部２０を膀胱Ｂ内の頸部ＰＲ等の基準位置に設定して第１の座標系（Ｘ_０，Ｙ_０，Ｚ_０）と、３Ｄモデル画像の中心位置を原点Ｏ_２とした第２の座標系（Ｘ_２，Ｙ_２，Ｚ_２）との位置合わせを行うと共に、第１の座標系（Ｘ_０，Ｙ_０，Ｚ_０）から第２の座標系（Ｘ_２，Ｙ_２，Ｚ_２）に変換する変換マトリクス等を決定し、第１の座標系（Ｘ_０，Ｙ_０，Ｚ_０）で取得した位置及び方向情報を第２の座標系（Ｘ_２，Ｙ_２，Ｚ_２）での位置及び方向情報に変換する。

ステップＳ７に示すように術者は膀胱Ｂ内を内視鏡画像を観察しながら膀胱Ｂの内面を検査する。上述したように位置方向検出部３４は、所定の周期で先端部２０の位置及び方向の情報を生成し、挿入形状情報取得部３４ｂは、膀胱Ｂ内の挿入部１１の挿入形状の情報を取得する。
そして、ステップＳ８に示すようにＣＰＵ３１の挿入形状画像生成部３１ｂは、膀胱Ｂ内の挿入部１１の挿入形状画像Ｉｉを生成する。ステップＳ９に示すようにモニタ７には、膀胱Ｂを模擬する３Ｄモデル画像Ｍ１上に挿入形状画像Ｉｉが重畳して表示（提示）される。術者は、挿入形状画像Ｉｉが表示されることにより、膀胱Ｂ内での挿入部１１の先端側の挿入形状を容易に把握でき、湾曲部２５を湾曲して挿入形状を変更する場合の湾曲操作や、視野方向を変更する等の操作が行い易くなる。
なお、図４に示すように、膀胱Ｂを模擬する球形の３Ｄモデル画像Ｍ１の外側の領域における挿入部１１の形状部分を含む挿入形状画像Ｉｉを表示するようにしても良い。

術者は、膀胱Ｂ内を内視鏡画像を観察しながら膀胱Ｂの内面を検査し、病変部位や記録しておきたいと望むような部位を検査している場合にはレリーズ操作を行う。ステップＳ１０に示すようにＣＰＵ３１はレリーズ操作を監視している。そして、レリーズ操作が行われると、ステップＳ１０に示すようにＣＰＵ３１は、レリーズ操作が行われたタイミングの内視鏡画像をメモリ３３に記録する。
また、ステップＳ１２に示すようにＣＰＵ３１の画像貼り付け処理部３１ｃは、レリーズ操作が行われたタイミングの内視鏡画像（つまり、記録される内視鏡画像）を３Ｄモデル画像Ｍ１上における対応する位置において、撮像した視野角に対応する撮像範囲に貼り付け画像Ｉｐとして貼り付ける処理を行う。なお、レリーズ操作が行われない場合には、ステップＳ１１，Ｓ１２の処理を行うことなく、ステップＳ１３の処理に移る。

図６は、レリーズ操作が行われた場合において、３Ｄモデル画像Ｍ１上における対応する位置で、かつ対応する範囲に貼り付け画像Ｉｐを貼り付ける様子を示す。
図６に示すように挿入部１１の先端部２０に設けた撮像部２３を形成するＣＣＤ２２の撮像面Ｓｃに、膀胱Ｂにおける内面（を模擬する３Ｄモデル画像Ｍ１の内面）Ｂａにおける視野角θｖの範囲内の光学像を結像し、その光学像に対応する内視鏡画像がモニタ７の表示面に表示される。
図６においては、撮像部２３の視線方向Ｄｖ上における内面Ｂａに交わる点Ｐａにおける視線方向Ｄｖと直交する平面上の画像、つまり撮像面Ｓｃの光学像に対応した画像、を内視鏡画像Ｉｅとして示す。この場合、撮像される内面Ｂａの撮像範囲Ｒａ（太い線で示す）と内視鏡画像Ｉｅの範囲とは、ほぼ一致する。但し、一般的には、両者は異なる。

換言すると、先端部２０から膀胱Ｂの内面Ｂａまでの視線方向Ｄｖに沿った距離Ｌに応じて、撮像される撮像範囲（内視鏡画像Ｉｅの範囲）Ｒａが変化する。例えば、距離Ｌが小さくなると、撮像される撮像範囲Ｒａが小さくなり、距離Ｌが大きくなると、撮像範囲Ｒａが大きくなる。なお、撮像部２３の視野角θｖの大きさによっても撮像範囲Ｒａが異なる。

本実施形態においては、（先端部２０の撮像部２３から）膀胱Ｂを模擬する球体の内面Ｂａまでの距離Ｌに応じて、３Ｄモデル画像Ｍ１上に貼り付ける貼り付け画像Ｉｐのサイズを変更する。具体的には、ＣＰＵ３１の画像貼り付け処理部３１ｃは、先端部２０の撮像部２３から視線方向Ｄｖに沿った直線が球体の内面Ｂａに交わる点を中心として、撮像した撮像範囲Ｒａとほぼ一致するサイズで内視鏡画像を３Ｄモデル画像Ｍ１上に貼り付けることにより貼り付け画像Ｉｐを生成する。図６においては、太い曲線で示す曲面となる撮像範囲Ｒａ部分に貼り付け画像Ｉｐが貼り付けられる（Ｒａ（Ｉｐ）で示す）。

このため画像貼り付け手段を形成する画像貼り付け処理部３１ｃは、所定臓器としての膀胱Ｂ内に挿入部１１の先端部２０が挿入された状態で撮像部２３により撮像された撮像画像（としての内視鏡画像）を、所定臓器としての膀胱Ｂを模擬し、ワイヤフレームで描画された球形の立体モデル画像Ｍ１上における前記撮像部２３により撮像された位置に、撮像された範囲とほぼ一致するサイズで貼り付ける。
このようにして、図４に示したように貼り付け画像Ｉｐが表示される。図４においては、２つの貼り付け画像Ｉｐを表示（提示）した様子を示す。術者は、３Ｄモデル画像Ｍ１上に表示される挿入形状画像Ｉｉと、貼り付けられた貼り付け画像Ｉｐを見ることにより、膀胱Ｂ内において実際に観察（検査）している様子を容易に把握できると共に、レリーズ操作により記録した内視鏡画像の位置及びその範囲を容易に把握することができる。

なお、図４においては貼り付け画像Ｉｐの外形を正方形に近い四角形で示しているが、図４の左側に示すように４隅を切り欠いた（切り欠き部分を斜線で示している）八角形で示すようにしても良い。或いは、図４の左側に示す内視鏡画像を（４隅を切り欠かない）四角形で示すようにしても良い。
また、距離Ｌだけではなく、視線方向Ｄｖと膀胱Ｂの内面Ｂａの位置関係も考慮して内視鏡画像を変形させ、球形の立体モデル画像Ｍ１に貼り付けても良い。
図５のステップＳ１３に示すようにＣＰＵ３１は、観察モードの切り替え操作が行われたか否かを監視する。切り替え操作が行われない場合には、ステップＳ１７の処理に移る。一方、切り替え操作が行われた場合には、ステップＳ１４に示すようにＷＬＩからＮＢＩモードへの切り替え操作であるか否かを判定する。
ＷＬＩからＮＢＩモードへの切り替え操作である判定結果の場合には、次のステップＳ１５に示すようにプロセッサ５の制御回路５ａは、ＮＢＩモードに切り替える。この場合、制御回路５ａは、光源装置４がＢｎ光及びＧｎ光を出力するように制御すると共に、信号処理回路５ｂがＢＮＩモードに対応した信号処理を行い、信号処理回路５ｂは、ＮＢＩモードの内視鏡画像を画像処理装置６側に出力する。また、制御回路５ａは、ＮＢＩモードに切り替えた情報をＣＰＵ３１に送り、ＣＰＵ３１はＮＢＩモードへの切り替え状態であることを把握する。ＮＢＩモードに切り替えることにより、術者は、膀胱Ｂの表面付近の血管の走行状態等をより詳細に観察することができる。

ステップＳ１４の判定処理がＷＬＩからＮＢＩモードへの切り替え操作でない判定結果の場合には、ステップＳ１６に示すようにプロセッサ５の制御回路５ａは、ＮＢＩモードからＷＬＩモードに切り替える。この場合、制御回路５ａは、光源装置４が白色光Ｗを出力するように制御すると共に、信号処理回路５ｂがＷＬＩ観察モードに対応した信号処理を行い、信号処理回路５ｂは、ＷＬＩモードの内視鏡画像を画像処理装置６側に出力する。また、制御回路５ａは、ＷＬＩモードに切り替えた情報をＣＰＵ３１に送り、ＣＰＵ３１はＷＬＩモードへの切り替え状態であることを把握する。
ステップＳ１５，Ｓ１６では、球形の立体モデル画像Ｍ１を観察モードに応じて切り替える。

ステップＳ１７に示すようにＣＰＵ３１は、術者が挿入部１１を膀胱Ｂ内から抜去して内視鏡検査を終了する指示操作がされたか否かを判定する。終了の指示操作がされない場合には、ステップＳ７の処理に戻り、ステップＳ７〜Ｓ１７の処理を繰り返す。一方、内視鏡検査を終了する指示操作がされた場合には、図５の処理を終了する。

このように動作する第１の実施形態によれば、所定臓器を模擬する立体モデル画像（３Ｄモデル画像）、撮像画像（又は内視鏡画像）、挿入形状の関係を把握し易いように提示し、術者が検査しようとする病変部位等の部位の検査等を行い易くすることができる。
また、本実施形態においては、膀胱Ｂの内面を撮像した場合の３次元の位置及び方向情報を考慮した貼り付け画像Ｉｐを３Ｄモデル画像上に貼り付けるようにしているので、病変部位等、術者が検査しようとする病変部位等の部位の位置関係を容易に把握でき、膀胱内等の検査や処置を円滑に行い易くなる。
本実施形態において、図７に示すように３Ｄモデル画像Ｍ１上においてに、先端部２０の撮像部２３が現在、撮像している視野範囲（又は撮像範囲）Ａｓ（Ｒａ）を表示（提示）するようにしても良い。なお、図７は、モニタの表示面での表示（提示）例を示す。
例えば、ＣＰＵ３１の提示処理部３１ｄは、撮像情報取得部３４ａの情報等を参照して現在、撮像部２３が撮像している膀胱Ｂの内面、換言すると３Ｄモデル画像Ｍ１上の視野範囲Ａｓ又は撮像範囲Ｒａを算出し、算出した視野範囲Ａｓ又は撮像範囲Ｒａを３Ｄモデル画像Ｍ１上において例えば点線、細線、太線などで表示（提示）する。

実際に使用する内視鏡３の挿入部１１の先端部２０に搭載される撮像部２３は、内視鏡の機種などにより一般的には異なるので、その視野範囲Ａｓも異なる。本実施形態においては、ＲＯＭ１９から撮像部２３の視野範囲Ａｓの情報を取得する。
なお、ＲＯＭ１９を有しない内視鏡の場合や、視野範囲Ａｓの情報を取得できないような場合には、入力部３６を構成するキーボード等から視野範囲Ａｓの情報をＣＰＵ３１に入力するようにしても良い。
術者は、膀胱Ｂの内面を撮像して部位が病変部であるか否か等を検査したり、生検や処置が必要か否かを診断したりする場合、現在撮像している視野範囲Ａｓが３Ｄモデル画像Ｍ１上において表示（提示）されるため、３Ｄモデル画像Ｍ１上におけるどの位置を撮像しているか否かを常時把握できる。また、視野範囲Ａｓの領域の大きさも把握できるので、膀胱Ｂ内面までの距離が妥当な範囲内に存在するか否かも把握できる。なお、図７においては、円形で視野範囲Ａｓを表示しているが、ＣＣＤ２２の撮像エリアの形状に応じた形状、例えば正方形等で表示しても良い。また、モニタ７上に表示された３Ｄモデル画像Ｍ１の球面形状に応じた形状で視野範囲Ａｓを表示するようにしても良い。

なお、上述の説明においては、３Ｄモデル画像Ｍ１上に貼り付けられる貼り付け画像Ｉｐとしては、レリーズ操作がされた内視鏡画像の場合で説明したが、当該内視鏡画像の場合に限らず、当該内視鏡画像に対応する画像を貼り付けるようにしても良い。例えば、術者が、レリーズ操作がされた内視鏡画像と、当該内視鏡画像が貼り付けられるサイズの模式画像と、から選択できるようにしても良い。
また、図４に示すように所定臓器を模擬する３Ｄモデル画像Ｍ１がワイヤフレームで模式的に表示される場合、第２の座標系の原点Ｏ_２，Ｙ_２，Ｚ_２を含む平面で分割されたＸ_２側（手前側）の半球では、所定臓器（を模擬する３Ｄモデル画像Ｍ１）の内側から撮像した場合の内視鏡画像が貼り付け画像Ｉｐとして貼り付けられた場合、術者は当該半球の（内側でなく）外側から観察する。これに対して、Ｘ_２側（手前側）の反対側となる他方の半球では、内視鏡画像を貼り付け画像Ｉｐとして貼り付けた場合、手前側の半球を通して、３Ｄモデル画像Ｍ１の内側から観察することができる。
換言すると、撮像手段により所定臓器を模擬する膀胱Ｂの内面を撮像した内視鏡画像（撮像画像）を３Ｄモデル画像Ｍ１の略球形の表面上に貼り付け画像Ｉｐとして貼り付ける場合、３Ｄモデル画像Ｍ１は、術者等のユーザが貼り付け画像Ｍ１の画像面側を観察可能に貼り付ける第１の貼り付け面（具体的には上記他方の面）と、前記貼り付け画像の画像面の背面側を観察可能に貼り付ける第２の貼り付け面（具体的には上記手前側の面）とを有する。

そのため、レリーズ操作され、記録する内視鏡画像を３Ｄモデル画像Ｍ１における対応する位置に貼り付け画像Ｉｐとして貼り付けて提示（表示）する場合、Ｘ_２側（手前側）の半球では、当該内視鏡画像の（第２の座標系における）左右方向を反転させたものを貼り付け画像Ｉｐとして貼り付け、他方の半球では（３Ｄモデル画像Ｍ１の内面を観察する状態になるため）、当該内視鏡画像の（第２の座標系における）左右方向を反転させないものを貼り付け画像Ｉｐとして貼り付けるようにしても良い。図４において、他方の半球上の貼り付け画像Ｉｐを点線で示す。このように画像貼り付け手段を構成する画像貼り付け処理部３１ｃは、上記第２の貼り付け面においては内視鏡画像（撮像画像）の左右方向を反転したものを貼り付け画像Ｉｐとして貼り付けて提示するようにしても良い。
このようにすると、術者は、レリーズ操作により記録した所定臓器の内面の内視鏡画像が、所定臓器の球面上における撮像（記録）された位置及び撮像範囲に貼り付けられると共に、貼り付けた際の内視鏡画像をそのまま観察できる状態の場合には、左右方向を反転させることなく貼り付け画像Ｉｐとして貼り付け、貼り付けた際の内視鏡画像の裏面（背面）側から観察する状態となる場合には、貼り付けた際の内視鏡画像の裏面に相当する左右方向を反転させた内視鏡画像を貼り付け画像Ｉｐとして提示するので、術者は３Ｄモデル画像Ｍ１上に貼り付けられた貼り付け画像Ｉｐから所定臓器の内面の様子を把握し易くなる。
従って、術者は、所定臓器の内面をレリーズした内視鏡画像を、対応する３Ｄモデル画像Ｍ１の球面の外側から観察する場合においても、その内視鏡画像から膀胱Ｂの観察状態を把握することが容易にでき、内視鏡検査、診断等を行い易くなる。

また、上述の説明においては、レリーズ操作がされた場合のみ、３Ｄモデル画像Ｍ１に内視鏡画像等を貼り付ける場合で説明したが、術者が入力部３６から貼り付け画像を貼り付けて提示する条件の設定を行うことができるようにしても良い。
例えば、術者が、レリーズ操作がされた場合の他に、術者により指定された時間毎に内視鏡画像を３Ｄモデル画像Ｍ１上に貼り付けて、貼り付け画像Ｉｐとして表示（提示）するようにしても良い。また、貼り付け指示を行う指示スイッチを設け、この指示スイッチが操作された場合に、操作されたタイミングの内視鏡画像等を貼り付けるようにしても良い。

（第２の実施形態）
次に本発明の第２の実施形態を説明する。図８は本実施形態の内視鏡システム１Ｂを示す。図８の内視鏡システム１Ｂは、図２の内視鏡システム１において、ＣＰＵ３１は、更に所定臓器としての膀胱Ｂに対応する立体モデル画像を平面的に展開した平面モデル画像Ｍ２を生成する平面モデル画像生成回路（又は展開画像生成回路）から構成される平面モデル画像生成部（又は展開画像生成部）３１ｆの機能を有し、平面モデル画像生成部（又は展開画像生成部）３１ｆ又は画像貼り付け処理部３１ｃは、前記撮像手段の位置情報に基づく撮像画像（内視鏡画像）を平面モデル画像Ｍ２における対応する位置に貼り付け画像として貼り付け、モニタ７の表示面に貼り付け画像が貼り付けられた平面モデル画像Ｍ２を表示（提示）する。
本実施形態における平面モデル画像Ｍ２は、ほぼ球形の膀胱Ｂを頸部ＰＲと、該頸部ＰＲに対向する対向部位ＰＴを通り、かつ左壁と右壁とを通る平面に沿って展開した平面（２Ｄ）画像であり、平面モデル画像Ｍ２上における位置（領域）と、膀胱Ｂのほぼ球形の内面における各部の領域との関係は図９に示すようになる。

このように本実施形態は、所定臓器に対応する立体モデル画像を平面的に展開した平面モデル画像Ｍ２に対して、撮像手段の位置情報に基づく撮像画像を貼り付けて提示する展開画像生成手段（又は平面モデル画像生成手段）を備える。換言すると、本実施形態は、所定臓器に対応する立体モデル画像を平面的に展開した平面モデル画像Ｍ２に対して、撮像画像を撮像手段の位置情報に基づく位置に貼り付けて提示する展開画像生成手段（又は平面モデル画像生成手段）を平面モデル画像生成部３１ｆが備える。
また、本実施形態では、レリーズ操作がされた場合、平面モデル画像Ｍ２上における撮像部２３により撮像した位置に貼り付け画像を貼り付け、その際、時間的に後の貼り付け画像が古い貼り付け画像の上側となるように貼り付ける。その他の構成は、第１の実施形態と同様の構成である。
本実施形態の動作は、第１の実施形態の場合の図５と類似した図１０のようになる。図１０は、図５において、ステップＳ２がステップＳ２′に、ステップＳ１２がステップＳ１２′に置換した処理になる。

ステップＳ２′においてＣＰＵ３１の３Ｄモデル画像生成部３１ａは、３Ｄモデル画像Ｍ１を生成し、平面モデル画像生成部３１ｆは、平面モデル画像Ｍ２を生成する。
また、ステップＳ１２′においてＣＰＵ３１の画像貼り付け処理部３１ｃは、レリーズ操作がされた内視鏡画像（撮像画像）を３Ｄモデル画像Ｍ１上と平面モデル画像Ｍ２上における対応する位置にそれぞれ貼り付け画像として貼り付ける。その他は、図５で説明した処理と同様である。
図１１は、貼り付け画像が貼り付けられた３Ｄモデル画像Ｍ１と平面モデル画像Ｍ２をモニタ７の表示画面で示す。図１１の表示例においては、表示画面の左側に第１エリア４１、その右側の上段側に第２エリア４２，右側の下段側に平面モデル画像表示エリアとしての第３エリア４３を設けている。なお、図１１に示す配置で内視鏡画像、３Ｄモデル画像Ｍ１、平面モデル画像Ｍ２を表示（提示）する場合に限定されるものでなく、例えば第２エリア４２と第３エリア４３との配置を逆にしても良い。

本実施形態においては、レリーズされた際の内視鏡画像を３Ｄモデル画像Ｍ１と平面モデル画像Ｍ２に貼り付ける場合、同じ貼り付け画像には同じ色の枠を付けて表示（提示）する。
例えばレリーズされた時間がｔ１の場合には、例えば赤枠が付けられた貼り付け画像Ｉｐ１が３Ｄモデル画像Ｍ１上における対応する位置に貼り付けられて表示されると共に、平面モデル画像Ｍ２においても平面モデル画像Ｍ２上における対応する位置に貼り付けられて表示される。
また、例えばレリーズされた時間がｔ１とは異なるｔ２の場合には、例えば青枠が付けられた貼り付け画像Ｉｐ２が３Ｄモデル画像Ｍ１上における対応する位置に貼り付けられて表示されると共に、平面モデル画像Ｍ２においても平面モデル画像Ｍ２上における対応する位置に貼り付けられて表示される。

このようにした場合、平面モデル画像Ｍ２上に、異なるタイミングで貼り付けられた貼り付け画像Ｉｐ２，Ｉｐ３は、互いに識別可能に表示される。従って、展開画像生成手段を構成する平面モデル画像生成部３１ｆは、撮像部２３の位置情報に基づいて平面モデル画像Ｍ２に貼り付ける撮像画像（内視鏡画像）を識別可能に表示する手段を形成する。
また、本実施形態においては、予め設定された設定時間が経過した場合には、３Ｄモデル画像Ｍ１上に貼り付けられた貼り付け画像の表示（提示）を停止し、これに対して平面モデル画像Ｍ２においては全ての貼り付け画像を表示（提示）する。なお、設定時間以内の条件と共に、３Ｄモデル画像Ｍ１上に貼り付けて表示する貼り付け画像の数を制限するようにしても良い。

図１１に示したように貼り付け画像を表示することにより、術者は、第１の実施形態の場合と同様に、挿入形状の関係を把握し易い状態で提示し、病変部位等の検査や処置を行い易くすることができ、膀胱Ｂの内面を撮像した場合の３次元の位置及び方向情報を考慮した貼り付け画像を３Ｄモデル画像上に貼り付けるようにしているので、病変部位等、術者が検査しようと望む部位の位置関係を容易に把握でき、膀胱内の検査や処置を円滑に行い易くなる。
さらに、本実施形態においては、平面モデル画像Ｍ２において貼り付けた貼り付け画像により、レリーズして記録した内視鏡画像全体を把握することが容易となる。例えば、病変部位が存在した場合、病変部位及びその周辺部位を記録したか否かを貼り付け画像の全体から容易に把握できる。

また、３Ｄモデル画像Ｍ１上に貼り付けて表示する貼り付け画像の数を設定時間以内に制限するようにしているので、多すぎる貼り付け画像のために挿入形状画像Ｉｉの形状が隠れてしまうことなく、その挿入形状を把握し易い状態を確保できる。
なお、上記説明においては、レリーズされた際の内視鏡画像を３Ｄモデル画像Ｍ１と平面モデル画像Ｍ２に貼り付ける場合、同じ貼り付け画像には同じ色の枠を付けて表示（提示）する例を説明したが、以下のようにしても良い。
上記のように同じ色の枠にする（枠の色を同じにする）代わりに、同じ文字又は記号を付加するようにしても良い。この場合、レリーズする毎に異なる文字又は記号を付加して、異なるタイミングで貼り付けた画像を区別できるようにする。
或いは、一方のモデル画像上の貼り付け画像をキーボードやマウスなどで指定した場合、その画像が強調表示されると共に、もう一方のモデル画像上における対応する貼り付け画像も強調表示されるようにしても良い。強調表示する具体的な表示としては、例えば、指定された貼り付け画像（及び対応する貼り付け画像）を太い枠で囲むようにして表示する。又は、他の貼り付け画像の彩度を落として、指定された貼り付け画像（及び対応する貼り付け画像）を識別し易いようにしても良い。

（第３の実施形態）
次に本発明の第３の実施形態を説明する。図１２は本実施形態の内視鏡システム１Ｃを示す。内視鏡システム１Ｃは、図２に示す第１の実施形態の内視鏡システム１において、例えばＣＰＵ３１が、現在の内視鏡画像上において、特定部位が３Ｄモデル画像上に存在する方向を表す方向情報を提示する処理を行う方向情報提示処理部（又は方向情報提示処理回路）３１ｇの機能を更に備える。内視鏡画像（撮像画像）を提示する処理を行う信号処理回路５ｂまたは提示処理部３１ｄが、方向情報提示処理部３１ｇの機能を備える構成にしても良い。その他は、第１の実施形態と同様の構成である。
図１３Ａは内視鏡画像Ｉｅ上において、術者が注目する特定部位としての例えば病変部位が３Ｄモデル画像上に存在する方向を表す方向情報としての矢印Ａｒを表示した様子を示す。なお、方向情報を表示（提示）する場合には、術者が注目する特定部位としての例えば病変部位を撮像した後となる場合が殆どであるため、方向情報提示処理部３１ｇは、現在の内視鏡画像Ｉｅ上において、特定部位を撮像した特定の内視鏡画像（撮像画像）が３Ｄモデル画像上に存在する方向を表す方向情報を提示する処理を行うと言うこともできる。

方向情報提示処理部３１ｇは、以下に説明するように矢印Ａｒの方向を向くベクトルを算出する処理を行い、ベクトルの方向に沿った矢印Ａｒを現在の内視鏡画像Ｉｅ上における（例えば画面中央から一定範囲内を除く）周辺側部分に表示する。
図１３Ａの表示例においては、矢印Ａｒが示す右上の方向に病変部位又は病変部位の画像が存在することを示す。また、図１３Ａにおいて、画面中央から一定範囲（具体的には点線で示す円Ｃ）内には、方向情報としての矢印Ａｒを表示しないようにしている。なお、この円Ｃは、矢印Ａｒが表示されない範囲を示すもので、実際の内視鏡画像Ｉｅ上には表示されない。
なお、図１３Ｂに示すように矢印Ａｒと共に、病変部位までの距離の情報を表示するようにしても良い。例えば図１３Ａの場合において、病変部位までの距離が４０ｍｍとなる場合には、図１３Ｂに示すように矢印Ａｒと共に、距離４０ｍｍの距離情報６０を表示する。また、例えば上方向に５０ｍｍの距離に病変部位が存在する場合には、図１３Ｂに示すように矢印Ａｒと共に、距離５０ｍｍの距離情報６０を表示する。このようにすると、術者は、病変部位が存在する方向と共に、距離も把握することができ、膀胱Ｂ内での病変部位等の検査や処置を円滑に行い易くなる。

また、図１３Ｂに示すように距離を具体的に表示する代わりに、病変部位までの距離に応じて、矢印Ａｒの長さや大きさ、色を変えるようにしても良い。
図１４は上記矢印Ａｒの方向及び距離を表すベクトルを算出するための説明図を示す。図１４において、先端部２０内の撮像部２３（図１４では図示せず）により撮像し、撮像部２３の撮像面に結像された光学像に対応する内視鏡画像Ｉｅを含む平面ＰＬを、３Ｄモデル画像Ｍ１上において模式的に示している。この内視鏡画像Ｉｅは、撮像部２３の撮像面と平行であり、また撮像部２３の視線方向Ｄｖと垂直となる。
上記内視鏡画像Ｉｅを含む平面ＰＬは、内視鏡画像の大きさ、視野角θｖ、視線方向Ｄｖに対応して、
ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０ （１）
で表される。ここで、ｎ＝（ａ，ｂ，ｃ）は、視線方向Ｄｖを表すベクトルである。

上記平面ＰＬに対して、３次元空間上のある点Ｐ（ｐ）（＝Ｐ（ｐ１，ｐ２，ｐ３））が視線方向Ｄｖと平行に投影されると、その位置ψ（Ｐ）は、
ψ（Ｐ）＝ｐ-（ｄ+ｐ・ｎ）ｎ／|ｎ|² （２）
となる。なお、ｐは、点Ｐ（ｐ）の位置を表すベクトルである。式２に先端部２０の点Ｐｅと病変部位（又は病変部位の画像）の中心の点Ｐｄとを代入し、平面ＰＬ上に投影された２点（位置）ψ（Ｐｅ），ψ（Ｐｄ）をψ（Ｐｅ）からψ（Ｐｄ）へと結ぶベクトルＶｄの方向が矢印Ａｒの方向となる。また、|ψ（Ｐｄ）−ψ（Ｐｅ）|が、内視鏡画像Ｉｅを含む平面ＰＬ上における、内視鏡画像Ｉｅ（の中心に近い位置ψ（Ｐｅ））から病変部位（又は病変部位の画像）の中心の点Ｐｄの投影面の位置ψ（Ｐｄ）までの距離に相当する。なお、図１３Ｂに示すように距離情報を表示する場合、内視鏡画像Ｉｅを含む平面ＰＬ上での距離で表示しても良いし、位置ψ（Ｐｅ）を３Ｄモデル画像Ｍ１上の位置と見なして、３Ｄモデル画像Ｍ１の球面に沿った距離（位置ψ（Ｐｅ）から球面に沿って計測した位置Ｐｄまでの距離）で表示しても良いし、|Ｐｄ−Ｐｅ|でも良い。
本実施形態は、第１の実施形態と同様の作用効果を有すると共に、さらに現在の内視鏡画像上において病変部位等の特定部位が３Ｄモデル画像Ｍ２に存在する方向を表示（提示）するため、術者は、病変部位等が存在する方向を容易に知ることができる。また、距離情報を表示した場合には、さらに病変部位等の特定部位が存在する位置にアプローチし易くなる。

また、内視鏡画像上に矢印Ａｒが表示されるので、術者は内視鏡画像を観察する状態のまま、視線を移動することなく病変部位等が存在する方向を容易に知ることができる。
また、矢印Ａｒが内視鏡画像上における周辺部位側で表示されるので、内視鏡画像の視認性を低下させなくて済む（視認性の低下を防止できる）。
なお、方向情報として、図１３Ａ等においては矢印Ａｒを表示したが、例えば図１３Ｃに示すように内視鏡画像Ｉｅの縁に付けた色６１等で、病変部位等の特定部位の方向を示すようにしても良い。また、縁に付けた色６１等によりおおよその方向を示すようにしても良い。
また、病変部位等の特定部位までの距離に応じて、色６１を変更するようにしても良い。

また、方向情報として、矢印Ａｒ等の代わりに、例えば矢印の先端の位置に○、□、△等の記号を表示しても良い。また、病変部位等の特定部位までの距離に応じて、例えば距離が大きくなるに従って表示する記号を○→□→△のように変更しても良い。
また、病変部位等の特定部位までの距離に応じて、表示する記号の大きさや色を変更しても良い。
また、本実施形態においては、現在の内視鏡画像上に方向情報を表示（提示）すると説明したが、以下の条件（ａ）〜（ｅ）のいずれか１つ又は２つ以上を満たす場合に方向情報を表示（提示）するようにしても良い。
（ａ）術者等のユーザが、キーボード、タッチパネル、スコープスイッチ、フットスイッチ、操作パネル等を操作した際に発生するトリガ信号を入力した場合、
（ｂ）術者等のユーザが、病変（部位）を指定した場合、
（ｃ）病変（部位）までの距離が、予め設定された距離以内になった場合、
（ｄ）内視鏡の先端部と３Ｄモデル画像Ｍ１の内面までの距離が予め設定された距離以内になった場合（内視鏡の先端部と３Ｄモデル画像Ｍ１の内面までの距離は、例えばステレオ計測の原理を利用して算出する）、
（ｅ）現在の内視鏡画像の近傍に、ある病変（部位）が存在する場合、
このように、所定の条件を満たす場合のみ、方向情報を表示しても良い。

このように所定の条件を満たす場合のみ、方向情報を表示するように設定すると、術者等のユーザは、ユーザの設定や、好みなどに応じて方向情報の表示を選択できるメリットを有する。
なお、第３の実施形態の内視鏡システム１Ｃとして、第１の実施形態の内視鏡システム１に対して方向情報を提示する方向情報提示処理部３１ｇを設けた例で説明したが、第２の実施形態の内視鏡システム１Ｂに対して、方向情報提示処理部３１ｇを設けた構成にしても良い。この場合には、第２の実施形態と同様の作用効果を有すると共に、さらに現在の内視鏡画像上において病変部位等の特定部位が３Ｄモデル画像Ｍ２に存在する方向を表示（提示）するため、術者は、病変部位等が存在する方向を容易に知ることができる。

（第４の実施形態）
次に本発明の第４の実施形態を説明する。図１５は第４の実施形態の内視鏡システム１Ｄを示す。内視鏡システム１Ｄは、例えば図８に示す第２の実施形態の内視鏡システム１Ｂにおいて、観察モードの切り替え等をトリガ信号として検出するトリガ検出部（又はトリガ検出回路）３９を画像処理装置６に設けている。
トリガ検出部３９は、プロセッサ５の制御回路５ａと接続され、モード切替スイッチＳＷ１による観察モードの切り替えの指示を検出したり、平面モデル画像Ｍ２の切り替え指示等、術者等のユーザの指示を検出する。そして、トリガ検出部３９は、検出したトリガ信号をＣＰＵ３１に送り、ＣＰＵ３１は対応した制御処理を行う。
なお、術者等のユーザは、画像処理装置６に設けられた入力部３６からも、平面モデル画像Ｍ２の切り替えの指示の入力を行うことができるので、入力部３６から入力された信号もトリガ検出部３９が検出するようにしても良い。

また、本実施形態においては、実際に使用している観察モードに対応した平面モデル画像を使用することができるように、例えばメモリ３３は、複数の観察モードに対応した複数の平面モデル画像を格納する平面モデル画像格納部３３ｃの機能を有する。なお、メモリ３３とは別体の記憶デバイス等に平面モデル画像格納部３３ｃを設けても良い。
具体的には、平面モデル画像格納部３３ｃは、ＷＬＩモード用の平面モデル画像と、特殊光の観察モードの具体例としてのＮＢＩモード用の平面モデル画像とを格納している。そして、各観察モードでレリーズ操作が行われると、それぞれの観察モードの平面モデル画像上に貼り付け画像が貼り付けられる。従って、両観察モードにおいては、異なる時間でレリーズ操作が行われるため、平面モデル画像は互いに異なるものとなる。また、各観察モードでレリーズ操作が行われて、平面モデル画像上に貼り付け画像が貼り付けられて平面モデル画像が変更されると、その平面モデル画像が平面モデル画像格納部３３ｃに格納される。つまり、平面モデル画像格納部３３ｃに格納される平面モデル画像は、経時的に更新される。

本実施形態における代表的な動作は、図１６Ａのフローチャートのようになる。図１６Ａは、図１０のフローチャートにおいて、ステップＳ１５とステップＳ１７との間に設けたステップＳ２１と、ステップＳ１６とステップＳ１７との間に設けたステップＳ２２の処理が行われる。ステップＳ２１においてトリガ検出部３９は、ＮＢＩモードへの観察モードの切り替えをトリガ信号として検出し、ＣＰＵ３１に観察モードの切り替えのトリガ信号を送る。ＣＰＵ３１は、このトリガ信号を受けて、ＮＢＩモードに対応した平面モデル画像を用いるように平面モデル画像の切り替えを行う。なお、観察モードの切替に対応して平面モデル画像の切替を行うが、観察モードの切替は照明光の切替を伴うので、（通常光と狭帯域光などの特殊光との）照明光の切替に応じて平面モデル画像の切替を行うと言うこともできる。
また、ステップＳ２２においてトリガ検出部３９は、ＷＬＩモードへの観察モードの切り替えをトリガ信号として検出し、ＣＰＵ３１に観察モードの切り替えのトリガ信号を送る。ＣＰＵ３１は、このトリガ信号を受けて、ＷＬＩモードに対応した平面モデル画像を用いるように平面モデル画像の切り替えを行う。

ステップＳ２１，Ｓ２２の平面モデル画像の切り替えの後、ステップＳ１７において膀胱からの抜去がされない場合には、ステップＳ７の処理に戻り、例えばステップＳ１０に示すようにレリーズ操作の有無が判定され、レリーズ操作が行われると、切り替えられた平面モデル画像上において内視鏡画像が貼り付けられると共に、３Ｄモデル画像上においても貼り付けられる。また、平面モデル画像は平面モデル画像格納部３３ｃに格納される。
本実施形態によれば、第２の実施形態の作用効果を有すると共に、さらに観察モードに応じて平面モデル画像を切り替えるようにしているので、複数の観察モードで所定臓器としての膀胱Ｂを検査等する場合においても、それぞれ記録した様子を容易に把握できる。

図１６Ａに示す処理においては、観察モードの切替により、切り替えられて選択された観察モードに対応した平面モデル画像を採用するようにしているが、観察モードの切替により、平面モデル画像と３Ｄモデル画像とを連動して切り替えるようにしても良い。また、この場合には複数の観察モードに対応して複数の平面モデル画像を格納する平面モデル画像格納部３３ｃと共に、複数の観察モードに対応して複数の立体モデル画像（３Ｄモデル画像）を格納する３Ｄモデル画像格納部３３ｄを設けるようにすると良い。なお、３Ｄモデル画像格納部３３ｄを図１５中において点線で示す。
この場合の特徴的な構成内容として、被検体に対して通常光の照明のもとで撮像手段により撮像を行う第１の観察モードと、ＮＢＩ等の特殊光の照明のもとで撮像手段により撮像を行う第２の観察モードと、の２つの観察モード間の切替を行う観察モード切替手段と、前記２つの観察モードに対応した３Ｄモデル画像としての第１の３Ｄモデル画像及び第２の３Ｄモデル画像の情報を格納する３Ｄモデル画像格納部３３ｄと、前記２つの観察モードに対応した前記平面モデル画像としての第１の平面モデル画像及び第２の平面モデル画像の情報を格納する平面モデル画像格納部３３ｃと、を有する。そして、画像貼り付け手段を構成する画像貼り付け処理部３１ｃと展開画像生成手段を構成する平面モデル画像生成部３１ｆは、前記観察モードの切替に対応した３Ｄモデル画像と平面モデル画像とを連動して切り替え、レリーズ操作がされた場合には、切り替えられて選択された観察モードに対応する３Ｄモデル画像と平面モデル画像上にレリーズされた際の撮像画像としての例えば内視鏡画像をそれぞれ貼り付けて提示する。

また、この変形例における観察モードの切替により、平面モデル画像と３Ｄモデル画像とを連動して切り替える処理例を図１６Ｂに示す。この場合には、図１６ＡにおけるステップＳ２１とＳ２２とがそれぞれステップＳ２１′、Ｓ２２′のように異なるのみである。ステップＳ２１′、Ｓ２２′は、ＮＢＩモード用の３Ｄモデル画像及び平面モデル画像への切替、ＷＬＩモード用の３Ｄモデル画像及び平面モデル画像への切替、をそれぞれ行う。つまり、観察モードの切替、又は照明光の切替に応じて、平面モデル画像と３Ｄモデル画像とを（連動して）切り替えるようにしても良い。また、切替後においてレリーズ操作がされると、ステップＳ１２′に示すように、切り替えられた観察モードにおける３Ｄモデル画像及び平面モデル画像上に内視鏡画像が貼り付けられ、貼り付けられた３Ｄモデル画像及び平面モデル画像が３Ｄモデル画像格納部３３ｄ及び平面モデル画像格納部３３ｃにそれぞれ更新して格納される。

この場合には、更に観察モードに対応した３Ｄモデル画像をそれぞれ採用しているので、各観察モードでの貼り付け画像を３Ｄモデル画像上においても確認することができる。その他、第４の実施形態とほぼ同様の効果を有する。なお、主に図１６Ｂにおいて説明した内容を、例えば第１の実施形態に適用しても良い。
具体的には、第１の実施形態においては、観察モードを切り替えた場合において、３Ｄモデル画像は共通して用いるようにしていたが、図１６Ｂにおいて説明したように、観察モードの切替に応じて、切替により選択されたＷＬＩモード用の３Ｄモデル画像、又はＮＢＩモード用の３Ｄモデル画像を使用するようにしても良い。つまり、第１の実施形態においても、観察モードの切替、又は照明光の切替に応じて、３Ｄモデル画像を切り替えるようにしても良い。

図１６Ａの説明においては、実際に選択されて使用されている観察モードに対応した１つの平面モデル画像のみを表示（提示）するように説明したが、全ての観察モードの平面モデル画像を表示（提示）するようにしても良い。例えば、通常光と狭帯域光等の特殊光とを切り替えて照射する照明手段を備えた観察モードを備えた場合において、展開画像生成手段としての平面モデル画像生成部３１ｆ又は提示処理部３１ｄが、撮像手段により撮像された際のトリガ信号（又はユーザの指示操作により発生するトリガ信号）に基づき、通常光の照明下で撮像した通常光画像と、特殊光の照明下で撮像した特殊光画像をそれぞれ貼り付けた２つの平面モデル画像を同時に提示するようにしても良い。
この場合においても、レリーズ操作がされて内視鏡画像を貼り付ける場合には、実際に選択して使用している観察モードの平面モデル画像に貼り付ける。
また、術者等のユーザが選択した平面モデル画像を優先して表示するようにしても良い。

本実施形態において、以下の第２変形例のようにしても良い。複数の平面モデル画像を同時に表示しておき、選択されていない観察モードの平面モデル画像でも現在の内視鏡の撮像部による観察範囲（撮像範囲）が判別できるように枠を表示する。図１７は、この場合のモニタ７での表示例を示す。図１７（Ａ）は、モニタ７の表示画面における第１エリア４１，第２エリア４２，第３エリア４３の配置例を示す。
本変形例においては例えば表示画面の下段側に２つのエリア４３ａ，４３ｂからなる第３エリア４３を配置している。
図１７（Ｂ）は、２つのエリア４３ａ，４３ｂによる表示例部分を示す。図１７（Ｂ）における左側のエリア４３ａには、選択されている観察モードの平面モデル画像Ｍ２ａが、貼り付け画像が貼り付けられた状態で表示され、右側のエリア４３ｂには、選択されていない観察モードの平面モデル画像Ｍ２ｂが、貼り付け画像が貼り付けられた状態で表示される。

また、現在の内視鏡の先端部２０の撮像部２３により撮像された内視鏡画像がレリーズ操作により、符号７１ａで示す位置に貼り付けられた場合、選択されていない観察モードの平面モデル画像Ｍ２ｂには、現在の観察範囲（撮像範囲）を示す枠７１ｂが表示される。レリーズ操作を行った場合、選択されていない観察モードの平面モデル画像Ｍ２ｂにおいても現在の観察範囲（撮像範囲）の位置を確認できる。
なお、レリーズ操作が行われた場合のみに内視鏡画像の貼り付けを行う場合には、レリーズ操作が行われた場合のみに枠７１ｂを表示するようにしても良い。
本実施形態における第３変形例として、選択されていない観察モードにおいて、現在の内視鏡の観察範囲を既に観察して貼り付け画像として貼り付けた状態である場合には、観察済み（貼り付け済み）の貼り付け画像を強調して表示するようにしても良い。図１８は、その表示例を示す。

図１８における例えば左側のエリア４３ａに表示される選択されている観察モードの平面モデル画像Ｍ２ａにおいて、レリーズ操作がされると現在、観察されている観察範囲の内視鏡画像が、図示の位置に貼り付け画像Ｉｐ３として貼り付けられる。この場合、選択されていない観察モードの平面モデル画像Ｍ２ｂにおいて既に当該観察範囲が既に観察されて貼り付け画像Ｉｐ４として貼り付けた状態である場合には、当該貼り付け画像Ｉｐ４の縁に、色（太枠で示す）７３が付けて表示される。
なお、図１８においては、レリーズされた場合に対して説明したが、現在観察している観察範囲に関しても同様の表示を行うようにしても良い。具体的には、平面モデル画像Ｍ２ａにおいての現在観察している観察範囲が、例えば貼り付け画像Ｉｐ３の位置である場合、平面モデル画像Ｍ２ｂにおいての対応する貼り付け画像Ｉｐ４の縁に、色７３を付けて表示しても良い。

色７３を付けて表示する代わりに、平面モデル画像Ｍ２ｂにおいての対応する貼り付け画像Ｉｐ４を、例えば拡大表示するようにしても良い。図１９は、この場合の表示例を示す。図１８に示した位置の貼り付け画像Ｉｐ４を吹き出しで示す表示エリアに拡大した画像７５で表示している。
また、現在観察している観察範囲に対応する貼り付け画像Ｉｐ４が存在しないような場合には、その近傍に存在する貼り付け画像、又は記録された内視鏡画像等の観察済みの画像を表示するようにしても良い。
なお、挿入情報取得手段は、撮像手段近傍または当該撮像手段と所定の位置関係を保つように接続される部材に設けられ、前記撮像手段の位置情報及び前記挿入部が挿入される挿入形状情報を取得すると説明したが、撮像手段近傍または当該撮像手段と所定の位置関係を保つように接続される部材に設けられ、挿入部の先端部の位置情報及び前記挿入部が挿入される挿入形状情報を取得するようにしても良い。
上述した変形例の場合を含む実施形態を部分的に組み合わせる等して構成される実施形態も本発明に属する。
本出願は、２０１３年１０月０２日に日本国に出願された特願２０１３―２０７４５６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本明細書、請求の範囲、図面に引用されたものとする。

Claims (14)

1. 被検体内に挿入される挿入部と、前記被検体内を撮像する撮像部とを備えた内視鏡と、
   前記撮像部の位置情報を取得する撮像情報取得部と、
   前記被検体内における前記挿入部の挿入形状情報を取得する挿入形状情報取得部と、
   前記被検体内における所定臓器を模擬する立体モデル画像に対して、前記挿入形状情報取得部により取得された前記挿入形状情報に基づく挿入形状画像を重畳すると共に、前記撮像情報取得部により取得された前記撮像部の位置情報に基づいて前記撮像部で撮像した撮像画像を貼り付けて提示する制御部と、
   を備えることを特徴とする内視鏡システム。
2. 前記所定臓器に対応する立体モデル画像を平面的に展開した平面モデル画像に対して、前記撮像部の位置情報に基づく前記撮像画像を貼り付けて提示する展開画像生成部を更に備えることを特徴とする請求項１に記載の内視鏡システム。
3. 前記撮像部により撮像された前記撮像画像を提示する撮像画像提示部と、前記立体モデル画像に対して、前記撮像部の位置情報に基づく前記撮像部で撮像した前記撮像画像を貼り付ける画像貼り付け部とを更に備え、
   前記撮像画像提示部は、前記撮像情報取得部により取得された位置情報と、前記画像貼り付け部により貼り付けられた画像のうちの特定の画像情報と、に基づいて前記撮像画像に対して前記特定の画像情報が存在する方向情報を提示することを特徴とする請求項１に記載の内視鏡システム。
4. 前記撮像画像提示部は、ユーザによる所定の指示操作を検出した際に発生するトリガ信号に基づいて前記特定の画像が選択された場合に前記方向情報を提示することを特徴とする請求項３に記載の内視鏡システム。
5. 前記展開画像生成部は、前記撮像部の位置情報に基づいて貼り付けられた前記撮像画像を識別可能に表示することを特徴とする請求項２に記載の内視鏡システム。
6. 前記被検体に対して通常光と特殊光とを切り替えて照射する照明部を更に備え、
   前記展開画像生成部は、前記照明部の切り替えに応じて前記平面モデル画像を切り替えて提示することを特徴とする請求項２に記載の内視鏡システム。
7. 前記被検体に対して通常光と特殊光とを切り替えて照射する照明部を更に備え、
   前記展開画像生成部は、ユーザの指示操作により発生するトリガ信号に基づき、通常光の照明下で撮像した通常光画像と、特殊光の照明下で撮像した特殊光画像をそれぞれ貼り付けた２つの平面モデル画像を同時に提示することを特徴とする請求項２に記載の内視鏡システム。
8. 前記撮像部により前記所定臓器内を撮像している現在の撮像範囲を、前記立体モデル画像上における対応する位置に提示することを特徴とする請求項１に記載の内視鏡システム。
9. 前記挿入部が前記所定臓器内に挿入された場合には、前記撮像部の前記位置情報を、前記撮像情報取得部が取得する場合に用いる第１の座標系から、前記所定臓器の基準位置を原点にして設定した第２の座標系に変換する座標変換部を更に有することを特徴とする請求項１に記載の内視鏡システム。
10. 前記制御部は、前記所定臓器内に前記挿入部の先端部が挿入された状態で前記撮像部により撮像された前記撮像画像を、前記所定臓器を模擬し、ワイヤフレームで描画された球形の立体モデル画像上における前記撮像部により撮像された位置に、前記撮像された範囲とほぼ一致するサイズで貼り付けることを特徴とする請求項１に記載の内視鏡システム。
11. 前記撮像画像提示部は、前記撮像画像に対して前記特定の画像情報が存在する前記方向情報と共に、前記撮像画像から前記特定の画像情報が存在する位置までの距離の情報を提示することを特徴とする請求項４に記載の内視鏡システム。
12. 前記被検体に対して通常光の照明のもとで前記撮像部により撮像を行う第１の観察モードと、特殊光の照明のもとで前記撮像部により撮像を行う第２の観察モードと、の２つの観察モード間の切替を行う観察モード切替部と、
    前記２つの観察モードに対応した前記立体モデル画像としての第１の立体モデル画像及び第２の立体モデル画像の情報を格納する立体モデル画像格納部と、
    前記２つの観察モードに対応した前記平面モデル画像としての第１の平面モデル画像及び第２の平面モデル画像の情報を格納する平面モデル画像格納部と、
    を有し、
    前記制御部及び前記展開画像生成部は、前記観察モードの切替に対応した前記立体モデル画像と前記平面モデル画像とを連動して切り替え、レリーズ操作がされた場合には、切り替えられた観察モードに対応する立体モデル画像と前記平面モデル画像上にレリーズされた際の撮像画像をそれぞれ貼り付けて提示することを特徴とする請求項２に記載の内視鏡システム。
13. 前記撮像部により前記所定臓器の内面を撮像した前記撮像画像を前記立体モデル画像の略球形の表面上に貼り付け画像として貼り付ける場合、前記立体モデル画像は、ユーザが前記貼り付け画像の画像面側を観察可能に貼り付ける第１の貼り付け面と、前記貼り付け画像の画像面の背面側を観察可能に貼り付ける第２の貼り付け面とを有し、
    前記画像貼り付け部は、前記第２の貼り付け面においては前記撮像画像の左右方向を反転したものを前記貼り付け画像として貼り付けて提示することを特徴とする請求項１０に記載の内視鏡システム。
14. 前記制御部は、前記被検体と前記挿入部の先端部の距離に応じて、前記撮像部で撮像した前記撮像画像のサイズを変更して前記立体モデル画像に貼り付けることを特徴とする請求項１に記載の内視鏡システム。

Images