JP5750669B2 - 内視鏡システム - Google Patents

Description

本発明は、内視鏡システムに関し、特に、内視鏡画像を貼り付けた臓器モデル画像を表示する内視鏡システムに関する。

従来より、内視鏡システムが医療分野及び工業分野で広く利用されている。例えば、医療分野の内視鏡システムでは、術者が被検体内に内視鏡の挿入部を挿入し、挿入部の先端部に設けられた観察窓を通して得られた内視鏡画像が表示装置に表示される。表示された内視鏡画像を見て、術者は内視鏡検査を行うことができる。さらに、内視鏡システムは、内視鏡画像の記録もすることができる。例えば、医者は、記録された病変部の内視鏡画像を、カルテの一部として利用することができる。

また、近年は、カプセル型内視鏡システムも実用化されており、患者がそのカプセル型内視鏡を飲み込むと、カプセル型内視鏡は、体内を移動している間に体内を撮像し、体内の画像を記録する。

カプセル内視鏡の場合、膨大な数の画像が取得されるので、取得された多くの画像の中から病変部などの観察対象部位の画像のみを抽出する技術や、特開２０１０−２４００００号公報に開示のように、複数の画像を３Ｄモデル上に貼り付けるときに特徴パラメータに基づいて優先順位の高い画像を用いて診断用画像を生成する技術が提案されている。
また、特開２００８−２２０６７２号公報には、挿入部の挿入長に対応して、内視鏡画像を記憶する内視鏡装置も提案されている。

ところで、前回の内視鏡検査において発見された病変部の状態を観察するために、内視鏡検査が再度行われたり、前回の内視鏡検査において発見された病変部に対して、内視鏡を用いて処置したりすることも行われている。

そのため、医者は、検査において発見された病変部の検査対象臓器における位置を、カルテに記入する。例えば、検査対象臓器が膀胱の場合、病変部の位置は、カルテに描かれる膀胱展開図（シェーマ）に印が付けられることにより指定される。

しかし、前回の内視鏡検査において得られた内視鏡画像が、対象臓器におけるどの位置の画像であるかは、解り難い場合がある。
カプセル内視鏡を利用する上記の特開２０１０−２４００００号公報に開示の内視鏡システムでは、内視鏡画像が対象臓器の３Ｄモデルに貼り付けられるが、カプセル型内視鏡であるため、医者は、得られた内視鏡画像から、臓器における病変部の位置を容易に把握することはできない。

また、挿入部を有する内視鏡の場合であっても、例えば、膀胱展開図に指定された位置と現実の膀胱における位置との対応付けの把握が容易でないものもあり、医者にとって、内視鏡検査において確認された病変部の位置をそのような膀胱展開図に記入すること、そして、そのようなカルテの膀胱展開図に記された位置から現実の膀胱における位置を把握することは、容易ではない。

そのため、前回の検査で得られた病変部の内視鏡画像があっても、医者は、再度臓器内を隈無く観察して、病変部を捜すことを行うことも少なくない。
上記の特開２００８−２２０６７２号公報に開示の内視鏡装置では、挿入長に対応付けて内視鏡画像が記録されるが、カルテに添付された内視鏡画像がブレた画像などの、画質が良くない画像であれば、カルテに添付される内視鏡画像が不明瞭となり、病変部、その周辺領域、及び観察した領域の状態を医者は認識し難い。
結果として、内視鏡による検査時間若しくは処置時間が長く掛かってしまうという問題がある。

そこで、本発明は、内視鏡画像の検査対象臓器における位置が容易にわかり、かつ対象臓器の臓器モデル画像上には明瞭な内視鏡画像が貼り付けられる内視鏡システムを提供することを目的とする。

本発明の一態様の内視鏡システムは、被検体内に挿入する挿入部と、前記挿入部の先端側に設けられ、前記被検体からの光を受ける対物光学窓と、前記対物光学窓から入射された光から前記被検体内を撮像する撮像部と、前記対物光学窓の位置方向情報を取得する位置情報取得部と、前記被検体内の所定臓器モデル画像を記憶する記憶部と、前記撮像部により取得された被検体内画像と、前記位置情報取得部により取得された位置方向情報と、を関連付けて前記記憶部に記録を行う記録部と、前記位置方向情報に基づいて前記撮像部が所定の速度以上で移動しているか否かを判定し、前記所定の速度以上で移動していない場合において、前記対物光学窓の位置方向情報と前記所定臓器モデル画像の座標系における位置方向情報とが対応付けられた状態の所定臓器のモデル画像に対して前記被検体内画像が貼り付け可能な画像であるとの判定を行う判定部と、前記判定部により貼り付け可能と判定された前記被検体内画像を前記記憶部から読み出し、前記位置方向情報に基づき前記所定臓器のモデル画像上への貼り付けを行う画像貼り付け部と、を備える。

本発明の実施の形態に係わる内視鏡システムの構成を示す構成図である。 本発明の実施の形態に係わる内視鏡システム１の構成を示すブロック図である。 本発明の実施の形態に係わる、膀胱内の観察時における、膀胱モデル画像への内視鏡画像の貼り付け処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、膀胱の各部の名称を説明するための模式的な患者の膀胱の位置を示す図である。 本発明の実施の形態に係わる、膀胱の各部の名称を説明するための模式的な膀胱を示す図である。 本発明の実施の形態に係わる３D膀胱モデルM1を示す図である。 本発明の実施の形態に係わる、膀胱Bの２次元モデルM2を示す図である。 膀胱展開図BEを示す図である。 S8の画像貼り付け処理の流れの例を示すフローチャートである。 S22の貼り付け画像の判定処理の流れの例を示すフローチャートである。 S31の画像処理による判定処理の流れの例を示すフローチャートである。 S33の位置方向情報による判定処理の流れの例を示すフローチャートである。 S35の膀胱壁までの距離と、視線方向による判定処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、膀胱壁面と先端部２ｄ間の距離Dpと、閾値Thre3とThre4との関係を説明するための図である。 本発明の実施の形態に係わる、膀胱壁面の法線方向と、撮像素子１１の視線方向との成す角度との関係を説明するための図である。 本発明の実施の形態に係わる、モニタ６の画面上に表示される内視鏡検査時の表示画面の例を示す図である。 本発明の実施の形態に係わる、複数の内視鏡画像が２Dモデル画像３１ａ上に貼り付けられている、モニタ６の画面上に表示される表示画面の例を示す図である。 本発明の実施の形態に係わる、磁場発生装置７の座標系とベッド８上の患者Pの膀胱Bの座標系の関係を説明するための図である。 本発明の実施の形態に係わる、中間座標系（X_１Y_１Z_１）上に投影される方向ベクトルを説明するための図である。 本発明の実施の形態に係わる、中間座標系（X_１Y_１Z_１）と第２の座標系（X_２Y_２Z_２）の関係を説明するための図である。 本発明の実施の形態に係わる、第２の座標系（X_２Y_２Z_２）において球体の内面上の座標を説明するための図である。 本発明の実施の形態に係わる、先端部２ｄの位置と方向ベクトルから第２の座標系（X_２Y_２Z_２）における位置Ｐ_２と方向V_２を説明するための図である。 本発明の実施の形態に係わる、２次元の座標系（U,V）における座標関係を説明するための図である。 本発明の実施の形態に係わる、内視鏡画像の全体を走査して、第２の座標系（X_２Y_２Z_２）の球体の内面への各画素の貼り付けを説明するための図である。 本発明の実施の形態に係わる、モニタ６の画面上に表示される画像の他の例を示す図である。 本発明の実施の形態に係わる、５軸センサを用いた場合における、モニタ６の画面上に表示される画像の例を示す図である。 本発明の実施の形態に係わる、５軸センサを用いた場合における、レリーズボタン１３が押されたときの内視鏡画像のみが２Dモデル画像３１ａ上に貼り付けられ画像の例を示す図である。 本発明の実施の形態に係わる、２つの観察モードに対応して２つの臓器モデルの画像を表示した場合の表示画面の例を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。以下、本発明の実施の形態を、膀胱内の内視鏡画像を取得する場合を、例として説明する。
（構成）
図１は、本実施の形態に係わる内視鏡システムの構成を示す構成図である。図２は、内視鏡システム１の構成を示すブロック図である。内視鏡システム１は、内視鏡２と、記録装置３と、光源装置４と、プロセッサ５と、モニタ６と、磁場発生装置７とを含んで構成されている。内視鏡システム１は、通常光観察と特殊光観察の２つの観察モードを有する。検査者である医者は、ベッド８上に仰向けで横になっている患者Ｐの膀胱Bの内視鏡検査を行う。

内視鏡２は、操作部２ａと、可撓性を有し被検体内に挿入する挿入部２ｂと、ユニバーサルケーブル２ｃとを有する。内視鏡２は、膀胱検査用の内視鏡である。
さらに、図示しないが、ユニバーサルケーブル２ｃ内には、ライトガイドが挿通されており、内視鏡２は、光源装置４からの照明光を、ライトガイドを通して挿入部２ｂの先端部２ｄから出射するように構成されている。

また、図２に示すように、挿入部２ｂの先端部２ｄには、撮像素子１１が設けられており、光源装置４の照明光により照明された膀胱B内の部位が、対物光学窓１１ａを介して撮像素子１１により撮像される。対物光学窓１１ａは、挿入部２の先端側に設けられ、被検体からの光を受ける。すなわち、撮像素子１１は、被検体内に挿入され、対物光学窓１１ａから入射された光から被検体内を撮像する撮像部を構成する。撮像素子１１により得られた撮像信号は、ユニバーサルケーブル２ｃ内の信号線を介してプロセッサ５に供給され、撮像信号は、プロセッサ５において画像処理が行われる。

プロセッサ５は、観察モードを切り換えるための切換スイッチ５ａを有し、プロセッサ５は、切換スイッチ５ａにより指定された観察モードに応じた内視鏡画像を生成する。
また、生成された内視鏡画像は、プロセッサ５からモニタ６へ出力され、ライブの内視鏡画像が、モニタ６上に表示される。検査を行う医者（以下、検査者という）は、挿入部２ｂの先端部２ｄを患者Pの尿道から挿入し、患者Pの膀胱B（図１において点線で示す）内を観察することができる。

さらに、挿入部２ｂの先端部２ｄには、磁気センサ１２が配置されている。具体的には、先端部２ｄの対物光学窓１１ａの近傍に、２つのコイル２ｅを有する磁気センサ１２が設けられている。よって、磁気センサ１２は、６軸のセンサである。磁気センサ１２の信号線２ｆが、内視鏡２から延出し、記録装置３に接続されている。
磁場発生装置７が所定の磁場を発生し、磁気センサ１２は、磁場発生装置７が発生する磁場を検出する。磁場の検出信号は、信号線２ｆを介して内視鏡２から記録装置３へ供給される。

内視鏡２の操作部２ａには、レリーズボタン１３が設けられている。レリーズボタン１３は、検査者が内視鏡画像を記録するときに、押すためのボタンである。レリーズボタン１３が押されると、レリーズボタン操作信号がプロセッサ５へ入力され、プロセッサ５は、レリーズ信号を生成して、記録装置３へ供給する。レリーズボタン１３が押されたときの内視鏡画像は、記録装置３の後述するメモリ２２に記録される。

記録装置３は、中央処理装置（以下、CPUという）２１と、メモリ２２と、表示インターフュース（以下、表示I/Fと略す）２３と、画像取込部２４と、位置方向検出部２５と、駆動回路２６を含んでいる。CPU２１と、メモリ２２と、表示インターフュース（以下、表示I/Fと略す）２３と、画像取込部２４と、位置方向検出部２５と、駆動回路２６は、バス２７を介して互いに接続されている。

CPU２１は、記録装置３内の各部の処理を制御する制御部である。
メモリ２２は、ROM、RAM、フラッシュメモリなどを含む記憶部であり、CPU２１により実行される各種処理プログラム及び各種データが記憶され、さらに、後述するように、内視鏡画像情報及び位置と方向の情報なども記憶される。メモリ２２のRAMには、撮像素子１１により撮像して得られた複数の内視鏡画像の画像データが記憶される。

また、メモリ２２には、後述する臓器のモデル画像（以下、臓器モデル画像という）のデータも記憶され、後述するように、内視鏡画像がその臓器モデル画像上に貼り付けられる。詳細については、後述するが、CPU２１は、内視鏡画像を撮像したときの先端部２ｄの位置方向情報に基づいて、予め記憶されたモデル画像上に、内視鏡画像を貼り付ける処理を行い、内視鏡画像を貼り付けた臓器モデル画像をメモリ２２に記憶する。メモリ２２に記憶された臓器モデル画像は、カルテの一部として利用される。

メモリ２２に記憶された臓器モデル画像は、表示I/F２３を介して出力され、モニタ６の画面上に表示される。
さらに、モニタ６は、プロセッサ５も接続されている。モニタ６は、PinP（Picture In Picture）機能を有し、CPU２１により内視鏡画像が貼り付けられた臓器モデル画像と共に、内視鏡２の撮像素子１１により撮像して得られたライブの内視鏡画像を表示することができる。

画像取込部２４は、プロセッサ５において得られた画像を、一定の周期で取り込む処理部である。例えば、内視鏡２から、フレームレートと同じ、１秒間に３０枚の内視鏡画像を、プロセッサ５から取得する。また、画像取込部２４は、プロセッサ５からのレリーズ信号も受信する。なお、ここでは、画像取込部２４は、１秒間に３０枚の内視鏡画像を取り込んでいるが、フレームレートとは異なる、例えば１秒間に３枚等のより長い周期で内視鏡画像を取得するようにしてもよい。

位置方向検出部２５は、磁場発生装置７を駆動する駆動回路２６を制御して、磁場発生装置７に所定の磁場を発生させ、その磁場を磁気センサ１２により検出し、その検出された磁場の検出信号から、対物光学窓１１ａの位置座標（ｘ、ｙ、ｚ）と配向（すなわちオイラー角（ψ、θ、φ））のデータ、すなわち位置方向情報、をリアルタイムで生成する。すなわち、位置方向検出部２５は、磁気センサ１２からの位置情報及び方向情報を取得して、対物光学窓１１ａの位置情報を取得する位置情報取得部を構成する。

CPU２１は、画像取込部２４が取り込んだ画像と、位置方向検出部２５が検出した位置方向情報から算出された先端部２ｄの位置と方向の情報とを関連付けて、メモリ２２に記憶する。

CPU２１は、さらに、ステレオ計測機能を有し、撮像して得られた２枚のフレーム画像から、フレーム画像中の対象部位の各部までの距離を計測する機能を有する。具体的には、CPU２１は、２枚のフレーム画像を撮像したときの位置方向検出部２５からの位置方向情報に基づいて対物光学窓１１ａの撮像位置情報を取得し、２枚のフレーム画像を撮像したときの視差から、対物光学窓１１ａからフレーム画像中の各部までの距離を算出することができる。ステレオ計測機能のためのプログラムが、メモリ２２に記憶されており、CPU２１は、そのプログラムを読み出して実行することにより、ステレオ計測を行うことができる。

また、光源装置４は、通常光観察モード用の通常光と、特殊光観察モード用の特殊光とを出射可能な光源装置であり、プロセッサ５に設けられた観察モードを切り換えるための切換スイッチ５ａの状態に応じて、通常光と特殊光のいずれかを照明光として出射する。

ここでは、特殊光観察モードは、狭帯域観察モードである。なお、特殊光観察モードは、赤外光観察モードあるいは蛍光観察モードでもよい。よって、内視鏡システム１は、通常光観察モードと特殊光観察モードの２つの観察モードを有し、光源装置４は、切換スイッチ５ａが通常光観察モードのときは、通常光の照明光を出射し、切換スイッチ５ａが特殊光観察モードのときは、所定の波長の狭帯域光の照明光を出射する。すなわち、光源装置４は、被検体に対して白色光又は所定波長帯域を有する特殊光を切り換え可能に照射する照明部を構成する。

よって、プロセッサ５は、通常光観察モード時は、白色光を被写体に照射して得られた被写体の通常光観察画像を生成し、特殊光観察モード時は、特殊光（ここでは狭帯域光）を被写体に照射して得られた被写体の特殊光観察画像を生成する。

なお、特殊光観察画像である狭帯域観察画像は、通常光の照射により得られたRGBの各画像に対して分光推定処理を行うことによっても得ることができるので、狭帯域観察モード時に、プロセッサ５が、分光推定により狭帯域観察画像を生成してもよい。

（臓器モデル画像への内視鏡画像の貼り付け処理）
図３は、膀胱内の観察時における、膀胱モデル画像への内視鏡画像の貼り付け処理の流れの例を示すフローチャートである。図３の処理は、CPU２１が、メモリ２２に記憶された所定のプログラムを読み出して実行することによって、検査者が挿入部２ｂの先端部２ｄを尿道へ挿入したときから実行される。

CPU２１は、先端部２ｄの膀胱Ｂ内への挿入が検出されたか否かを判定する（S1）。挿入部２ｂの先端部２ｄは、尿道内に挿入され、尿道を通って膀胱B内に入る。先端部２ｄの膀胱B内への挿入の検出は、画像取込部２４が取得した内視鏡画像の輝度（内視鏡画像全体の平均輝度あるいは内視鏡画像の所定の一部の領域の平均輝度）の変化量に基づき、行われる。すなわち、CPU２１は、先端部２ｄが尿道から膀胱B内に入ったときに、内視鏡画像の輝度が変化することを利用して、S1の判定を行う。内視鏡画像の輝度値が、高い状態から低い状態になったとき、CPU２１は、先端部２ｄが膀胱Ｂ内に入ったと判定する。

なお、ここでは、先端部２ｄの膀胱B内への挿入の検出は、内視鏡画像の輝度に基づいて行っているが、内視鏡画像の色味の変化量、あるいはテクスチャの変化量に基づいて行うようにしてもよい。例えば、色味の変化としては、赤系から他の色系への色の変化であり、テクスチャの変化としては、血管等のパターンが認識できないような画像の状態から血管等のパターンが認識できるような状態への変化である。

膀胱B内への挿入が検出されると（S1:YES）、その検出がされたときにおける位置検出部２５の位置方向情報を、先端部２ｄ（具体的には、対物光学窓１１ａ）の位置と方向の基準情報として記録する（S2）。
CPU２１は、S2で記録された先端部２ｄの位置と方向を、それぞれ３次元膀胱モデル（以下、３D膀胱モデルという）M1の基準位置と基準方向とする基準決定を行う（S3）。S3の処理により、CPU２１は、体外の磁場発生装置７を基準とする第１の座標系（X_０Y_０Z_０）から、膀胱Bの入り口（頸部）を基準とする座標系（X_１Y_１Z_１）への変換、さらには、座標系（X_１Y_１Z_１）から、膀胱モデルM1の中心を基準とする座標系（X_２Y_２Z_２）への変換、を行うことができる。座標系の変換については、後述する。

よって、S1からS3の処理は、被検体である患者P内における被検体内画像情報の変化量に基づいて、対物光学窓１１ａの位置と患者P内における所定臓器モデル画像の座標系における位置とを一致させる位置合わせ部を構成する。

膀胱Bの検査は、患者が仰向けになった状態でかつ膀胱B内が所定の液体（例えば生理食塩水）で満たされた状態で行われる。例えば、大人であれば、膀胱Bの大きさに違いはあっても大きな差はなく、略同じ大きさを有する球体形状で、膀胱Bをモデル化することができる。

図４は、膀胱の各部の名称を説明するための模式的な患者の膀胱の位置を示す図である。図４は、患者Pの正面に対向する方向からみた図である。図５は、膀胱の各部の名称を説明するための模式的な膀胱を示す図である。図５は、患者Pの左側から見たときの膀胱の図である。

膀胱Bは、尿道の開口部であり膀胱Bへの入口である頸部RPと、頸部RPに対向する頂部と、腹部側の前壁と、背中側の後壁と、患者Pから見て右側の右壁と、患者Pから見て左側の左壁の複数の領域に区別される。膀胱Bの検査は、患者Pが仰向けになった状態でかつ膀胱B内が所定の液体で満たされた状態で行われるため、検査者には、現実の膀胱Bの全体の位置と方向は、理解し易い。

図３に戻り、先端部２ｄの膀胱B内への挿入が検出されない場合（S1:NO）、処理は、S1の処理を繰り返す。先端部２ｄの膀胱B内への挿入が検出されたとき（S1:YES）、先端部２ｄは膀胱Bの頸部RPの位置にある。磁気センサ１２は、６軸すなわち（位置座標（ｘ、ｙ、ｚ）と配向（オイラー角（ψ、θ、φ））の位置方向情報を生成しているので、記録装置３は、先端部２ｄの膀胱B内への挿入が検出されたときの位置と方向を記録し、その記録した位置と方向を、３D膀胱モデルM1に対する対物光学窓１１ａの基準位置と基準方向とすることによって、基準位置と基準方向と、３D膀胱モデルM1における頸部RPの位置と方向とを一致させることができる。
図５に示すように、挿入部２ｂの先端部２ｄに設けられた撮像素子１１は、膀胱B内で、視野角θの内視鏡画像を撮像する。

図６は、３D膀胱モデルM1を示す図である。３D膀胱モデルM1は、略球体形状であり、３次元の座標系X_２Y_２Z_２内に形成されている。座標系X_２Y_２Z_２は、座標系X_１Y_１Z_１から変換された座標系である。なお、図６では、膀胱B内における挿入部２ｂの入口である頸部RPを示すために、挿入部２ｂの図形も合わせて示している。

３D膀胱モデルM1は、球体の中心Oを通り右壁から左壁方向の軸をX_２軸とし、球体の中心Oを通り頸部から頂部方向の軸をY_２軸とし、球体の中心Oを通り後壁から前壁方向の軸をZ_２軸として形成されている。

図７は、膀胱Bの２次元モデル（以下、２D膀胱モデルという）M2を示す図である。２D膀胱モデルM2は、２つの円形を含む形状を有しており、２次元の座標系UV内に形成されている。２D膀胱モデルM2は、図８に示す膀胱展開図（シェーマ）BEと略同じ形状である。図８は、膀胱展開図BEを示す図である。膀胱展開図BEは、膀胱B内の各部の位置を示す図であり、図８に示すように、膀胱B内の各部が膀胱展開図BE上の所定の各領域に対応する。

膀胱Bの２つの尿管口は、図６及び図７においてuoで示す位置にある。また、例えば、図６において点線で示す位置に膀胱B内に病変部AAがあるとき、図６の病変部AAの位置は、図７においては点線で示す位置に対応する。

再び、図３に戻り、先端部２ｄの膀胱B内への挿入が検出されたときにおける先端部２ｄの位置と方向の情報が、S2において基準情報として記録され、その基準情報で指定される位置と方向から、３D膀胱モデルM1の基準及び２D膀胱モデルM2の基準が導出される。

次に、CPU２１は、レリーズの検出処理を行う（S4）。このレリーズの検出処理は、内視鏡２の操作部２ａのレリーズボタン１３が押されたか否かを検出する処理である。レリーズボタン１３が押されると、レリーズ信号がプロセッサ５を介して画像取込部２４に入力される。CPU２１は、画像取込部２４に入力されるレリーズ信号の立ち上がり（あるいは立ち下がり）を監視することによって、レリーズボタン１３が押されたか否かを検出することができる。

CPU２１は、画像取込部２４から内視鏡画像を取得する（S5）。上述したように、画像取込部２４は、ここでは、フレームレートと同じ３０分の１秒毎に、プロセッサ５から内視鏡画像を取得する。

CPU２１は、挿入部２ｂの先端部２ｄの位置と方向の情報を取得する（S6）。位置検出部２５から位置方向情報を読み出すことによって、CPU２１は、先端部２ｄの位置と方向の情報を取得することができる。

また、S6では、S3で決定された基準情報に基づいて、CPU２１は、座標系（X_０Y_０Z_０）における位置方向情報を、３次元の座標系（X_２Y_２Z_２）における位置方向情報に変換する。すなわち、S1からS3において対物光学窓１１ａの位置情報と所定臓器モデル画像である膀胱モデル画像の座標系とを一致させた後、S6において、位置方向検出部２５で取得した先端部２ｄの位置及び方向（すなわち対物光学窓１１ａの位置及び方向）と膀胱モデル画像の座標系における位置及び方向との対応付けが行われる。すなわち、S6の処理は、被検体内における所定臓器のモデル画像に対して記憶部であるメモリ２２に記録される位置情報を対応付ける対応付け部を構成する。

そして、CPU２１は、内視鏡画像、２Dモデル画像上の位置と方向、及びレリーズ信号の有無の各情報を、メモリ２２へ記録する記録処理を実行する（S7）。すなわち、S7の処理は、撮像素子１１により取得された被検体内画像である内視鏡画像と、位置方向検出部２５により取得された位置情報と方向情報とを関連付けて記録する記録部を構成する。

次に、CPU２１は、画像貼り付け処理を行う（S8）。画像貼り付け処理は、S6において取得し３次元の座標系（X_２Y_２Z_２）に変換した位置方向情報に基づいて、球体である３Ｄ膀胱モデルM1の内面に貼り付けられる内視鏡画像を、２DモデルM2の図（以下、２Dモデル画像という）上に、貼り付ける処理である。すなわち、S8の処理は、位置情報に基づいて、S6において対応付けられた所定臓器のモデル画像上への被検体内画像の貼り付けを行う画像貼り付け部を構成する。S8の画像貼り付け処理では、同じ位置に貼り付けられる画像が複数枚存在する場合、それらの画像の中からブレ等のない明瞭な内視鏡画像を選択し、その画像が最前面となるように、２Dモデル画像上に貼り付けられる。S8の画像貼り付け処理については後述する。

よって、ここでは、S7において、撮像素子１１により取得された全ての被検体内画像が、位置情報と関連付けて、メモリ２２に記録され、S8では、メモリ２２に記録された全ての被検体画像と、各被検体内画像に関連付けられた位置情報とを読み出して、被検体内画像が貼り付け可能な画像であるか否かの判定が行われる。

すなわち、S8の処理は、位置合わせ部を構成するS1からS3により対物光学窓１１ａの位置と３Dモデル画像の座標系における位置とが対応付けられた所定臓器のモデル画像上に、被検体内画像を貼り付けた画像を生成する画像生成部を構成する。S8の貼り付け処理は、３次元の座標系（X_２Y_２Z_２）で規定される３D膀胱モデルM1の球体内面上に投影された内視鏡画像を、２次元の座標系（U,V）の２D膀胱モデルM2の画像上の位置に、貼り付けることによって、行われる。

２D膀胱モデルM2の画像上に貼り付けられる内視鏡画像の位置と方向は、上述のように決定され、貼り付ける内視鏡画像の大きさは、例えば、先端部２ｄと膀胱Bの撮像部位までの距離に応じて変更される。

S3で決定された位置と方向の基準情報は、体外の磁場発生装置７を基準として決定した３次元の座標系（X_０Y_０Z_０）における位置と方向であり、S8で画像貼り付け処理における位置と方向は、２D膀胱モデルM2の頸部RPを基準とする２次元の座標系（U,V）における位置と方向である。

よって、CPU２１は、S3で得られた基準情報から、２次元座標系における先端部２ｄの位置方向情報を導出して、その導出された位置方向情報に基づいて、内視鏡画像を、２Dモデル画像上へ投影して貼り付ける位置及び傾きを算出する。
S8における画像貼り付けは、内視鏡画像が貼り付けられる位置に、内視鏡画像が既に貼り付けられている場合は、後に取得された画像が、先に取得されて貼り付けられた内視鏡画像上に重畳して貼り付けるように、行われる。

図９は、S8の画像貼り付け処理の流れの例を示すフローチャートである。
まず、CPU２１は、内視鏡画像を貼り付ける領域に、内視鏡画像が既に貼り付けられているか否かを判定する（S21）。この判定は、S5で取得された内視鏡画像が貼り付けられる領域が、既に貼り付けられている内視鏡画像と重なる領域を有するか否かに基づいて、行われる。

内視鏡画像を貼り付けられる領域に、既に貼り付けられている内視鏡画像が存在する場合（S21:YES）、CPU２１は、貼り付け画像の判定処理を実行する（S22）。
図１０は、S22の貼り付け画像の判定処理の流れの例を示すフローチャートである。なお、図１０の処理は、S5で取得した内視鏡画像１枚だけの情報に基づいて実行できる処理と、既に取得済みの画像を含む複数の内視鏡画像の情報を用いて実行される処理を含むため、各内視鏡画像について必要な情報が揃っている場合に、各内視鏡画像について図１０の各処理が実行される。

CPU２１は、まず、画像処理による判定処理を実行し（S31）、画像処理の判定情報であるcheck2がONであるか否かを判定する（S32）。画像処理による判定処理については、図１１を用いて後述する。check2がONであれば、CPU２１は、位置方向情報による判定処理を実行する（S33）。すなわち、S22の判定処理は、撮像素子１１により取得された被検体内画像に対する画像処理により得られた被検体内画像の画像情報に基づいて、貼り付けを行うか否かの判定処理を含んでいる。

S33の処理の後、CPU２１は、位置方向情報の判定情報である判定情報check3がONであるか否かを判定する（S34）。位置方向情報による判定処理については、図１２を用いて後述する。判定情報check3がONであれば、CPU２１は、膀胱壁面までの距離と、視線方向による判定処理を実行する（S35）。

S36の処理の後、CPU２１は、膀胱壁面までの距離と、視線方向との判定情報である判定情報check4がONであるか否かを判定する（S36）。膀胱壁面までの距離と、視線方向とによる判定処理については、図１３を用いて後述する。

そして、S36において、判定情報check4がONであると（S36:YES）、CPU２１は、判定情報check1をONにする（S37）。すなわち、S31,S33,S35の全ての判定結果の判定情報check2,check3,check4がONであるとき、判定情報check1がONとなる。言い換えれば、S31,S33,S35のいずれかにおいて、いずれかの各判定情報check2,check3,check4がOFFの場合（S32:NO,S34:NO,S36:NO）、CPU２１は、判定情報check1をOFFにする（S38）。

以上のように、S22の処理は、撮像素子１１により取得された被検体内画像の画像情報又は位置情報に基づいて、画像貼り付け処理において、貼り付けを行うか否かの判定を行う判定部を構成する。

図９に戻り、S22の処理の後、CPU２１は、判定情報check1の判定結果が得られた内視鏡画像について、判定情報check1がONであるか否かを判定する（S23）。判定情報check1がONである場合（S23:YES）、CPU２１は、貼り付け処理を行う。その結果、判定情報check1がONの内視鏡画像が、２Dモデル画像上へ投影して貼り付けられる。判定情報check1がONでない場合（S23:NO）、CPU２１は、貼り付け処理を行わない。

図１１は、S31の画像処理による判定処理の流れの例を示すフローチャートである。まず、CPU２１は、S5で取得した内視鏡画像がボケ画像か否かを判定する（S41）。ボケ画像であるか否かは、内視鏡画像中のエッジ成分に基づいて判定することができる。

内視鏡画像がボケ画像でない場合（S41:NO）、CPU２１は、取得した内視鏡画像が赤玉画像か否かを判定する（S42）。赤玉画像であるか否かは、内視鏡画像中のR画素の画素値に基づいて判定することができる。

内視鏡画像が赤玉画像でない場合（S42:NO）、CPU２１は、取得した内視鏡画像がブレ画像か否かを判定する（S43）。ブレ画像であるか否かは、内視鏡画像中のエッジ成分に基づいて判定することができる。

内視鏡画像がブレ画像でない場合（S43:NO）、CPU２１は、取得した内視鏡画像中に輝度変化が急激な部分があるか否かを判定する（S44）。内視鏡画像中に輝度変化が急激な部分があるか否かは、内視鏡画像中の輝度値の分布に基づいて判定することができる。内視鏡画像中に輝度変化が急激な部分がある場合とは、例えば、先端部２ｄが膀胱壁面に対して適切な角度で向いていない場合などである。

内視鏡画像中に輝度変化が急激な部分がない場合（S44:NO）、CPU２１は、判定情報check2をONにする（S45）。内視鏡画像がボケ画像である（S41:YES）、赤玉画像である（S42:YES）、ブレ画像である（S43:YES）、あるいは内視鏡画像中に輝度変化が急激な部分がある場合（S44:YES）、CPU２１は、判定情報check2をOFFにする（S46）。
すなわち、画像処理により、ボケ画像などの明瞭でない内視鏡画像については、判定情報check2がOFFにされる。

図１２は、S33の位置方向情報による判定処理の流れの例を示すフローチャートである。まず、CPU２１は、前画像の位置方向情報を読み出す（S51）。ここでは、前画像の位置方向情報は、S5で取得されたフレームよりも前に取得された２枚のフレームについての位置方向情報である。

なお、画像貼り付けの判定処理を、例えば１秒間に３枚などの、フレームレートよりも低い時間間隔で行う場合は、画像取込部２４は、フレームレートと同じフレームレートで内視鏡画像を取り込み、画像貼り付けの判定に対象となる内視鏡画像のフレームの前後のフレームの位置方向情報が、S51で読み出される。

S5で取得したp番のフレームを最新の内視鏡画像Img(p)とすると、そのフレームよりも前に取得された２枚の内視鏡画像Img(p-2)とImg(p-1)についての位置方向情報は、既に取得されているので、その２つの位置方向情報が読み出される。

なお、最初の内視鏡画像については、それよりも前の２枚のフレームは存在しないし、続く２枚目の内視鏡画像については、それよりも２つ前のフレームは存在しない。よって、S8の処理は、３枚目以降の内視鏡画像が取得された後に、最新の内視鏡画像Img(p)の１つ前の内視鏡画像Img(p-1)について実行される。

次に、CPU２１は、先端部２ｄの移動速度MX_nが、所定の閾値Thre1未満であるか否かを判定する（S52）。ここで、ｎを（p-2）とし、ｍをpとしたときに、MX_ｎは、次の式（１）で表される。

［式１］

式（１）において、ｘ_ｎ、ｙ_ｎ、ｚ_ｎ、ｘ_ｍ、ｙ_ｍ、ｚ_ｍは、それぞれ３次元の座標系（X_２Y_２Z_２）における位置情報であり、Ｔ_ｎ、Ｔ_ｍは、それぞれ、内視鏡画像Img(p-2)が取得されたときの時刻と、内視鏡画像Img(p)が取得されたときの時刻である。

すなわち、先端部２ｄの位置情報から撮像素子１１が所定の速度以上で移動しているか否かが判定され、内視鏡画像Img(p-1)が、所定の速度以上で先端部２ｄが移動していないときの画像であれば（すなわち内視鏡画像Img(p-1)が、先端部２ｄの移動速度MX_nが所定の閾値Thre1未満であるときに撮像された画像であれば）、S52の判定は、YESとなり、内視鏡画像Img(p-1)が、所定の速度未満で先端部２ｄが移動しているときの画像であれば（すなわち内視鏡画像Img(p-1)が、先端部２ｄの移動速度MX_nが所定の閾値Thre1以上であるときに撮像された画像であれば）、S52の判定は、NOとなる。

よって、S22の判定処理は、位置情報から算出される対物光学窓１１ａの移動距離に基づいて、貼り付けを行うか否かの判定処理を含んでいる。

次に、CPU２１は、先端部２ｄの軸周りの角速度RXｎが、所定の閾値Thre2未満であるか否かを判定する（S53）。ここで、ｎを（p-2）とし、ｍをpとしたときに、RX_ｎは、次の式（２）で表される。

［式２］

式（２）において、γ_ｎ、γ_ｍは、それぞれ３次元の座標系（X_２Y_２Z_２）における先端部２ｄの軸周りの角度である。
なお、磁気センサ１２が５軸のセンサの場合、S53の判定処理は、省略される。

すなわち、先端部２ｄが軸周りの角速度が所定の角速度以上で回動しているか否かが判定され、内視鏡画像Img(p-1)が、所定の角速度以上で先端部２ｄが回動していないときの画像であれば（すなわち内視鏡画像Img(p-1)が、先端部２ｄの軸周りの角速度RX_ｎが所定の閾値Thre2未満であるときに撮像された画像であれば）、Ｓ５３の判定は、YESとなり、内視鏡画像Img(p-1)が、所定の角速度未満で先端部２ｄが回動しているときの画像であれば（すなわち内視鏡画像Img(p-1)が、先端部２ｄの軸周りの角速度RX_ｎが所定の閾値Thre2以上であるときに撮像された画像であれば）、S53の判定は、NOとなる。

よって、S22の判定処理は、位置情報から算出される対物光学窓１１ａの角度情報に基づいて、貼り付けを行うか否かの判定処理を含む。

S53でYESの場合（すなわち先端部２ｄの移動速度が所定の速度未満でかつ先端部２ｄの軸周りの角速度が所定の角速度未満の場合）、CPU２１は、判定情報check3をONとする（S54）。そして、先端部２ｄの移動速度が所定の速度以上の場合（S52:NO）、あるいは先端部２ｄの軸周りの角速度が所定の角速度以上の場合（S53:NO）、CPU２１は、判定情報check3をOFFとする（S55）。

図１３は、S35の膀胱壁までの距離と、視線方向による判定処理の流れの例を示すフローチャートである。まず、CPU２１は、前の内視鏡画像と、最新の先端部２ｄの位置方向情報を読み出す（S61）。

S61において読み出される前の内視鏡画像は、最新の内視鏡画像Img(p)が取得された位置よりも所定の距離離れた位置で取得された内視鏡画像Img(p-k)であり、最新の内視鏡画像Img(p)と前の内視鏡画像Img(p-k)の２枚の画像に基づいて、内視鏡画像中の各部あるいは各点の距離が、ステレオ計測機能を用いて計測される。ここで、ｋは、１以上の整数である。

次に、CPU２１は、膀胱壁面の各部あるいは各点の３次元位置を推定する（S62）。CPU２１は、ステレオ計測機能を用いて、先端部２ｄから２枚の内視鏡画像の各部分あるいは各点までの距離を算出し、膀胱壁面の各部分あるいは各点の３次元位置を推定する。

そして、CPU２１は、S62で推定して得られた膀胱壁面までの距離Dpと、内視鏡画像の中心の膀胱壁面の点における法線方向と撮像素子１１の視線方向とのなす角度θpとを算出する（S63）。

CPU２１は、距離Dpが、所定の閾値Thre3とThre4内にあるか否かを判定する（S64）。先端部２ｄが膀胱壁面にあまりに近過ぎたり、あるいはある程度以上遠過ぎると、撮像素子１１によって撮像して得られる内視鏡画像は、焦点が合っていなかったり、明るさが適切でなかったりする。そこで、焦点と明るさが適切な画像が撮像できる範囲として、距離Dpが所定の閾値Thre3より大きく、かつ所定の閾値Thre4未満である範囲を、被写体までの適切な距離として、予め設定される。

図１４は、膀胱壁面と先端部２ｄ間の距離Dpと、閾値Thre3とThre4との関係を説明するための図である。図１４において実線で示す先端部２ｄのように、先端部２ｄと膀胱壁面ｗ間の距離Dpが、所定の閾値Thre3とThre4の間にあるときは、適切な内視鏡画像が得られるが、二点鎖線で示す先端部２ｄのように、先端部２ｄと膀胱壁面ｗ間の距離Dpが、所定の閾値Thre3以下、あるいは所定の閾値Thre4以上であるときは、適切な内視鏡画像が得られない。図１４において、先端部２ｄが、２点鎖線ｗ１とｗ２の間に位置するときは、適切な内視鏡画像が得られる。

よって、S22の判定処理は、位置情報及び被検体内画像から算出される対物光学窓１１ａから被検体までの距離情報に基づいて、貼り付けを行うか否かの判定処理を含んでいる。

CPU２１は、先端部２ｄと膀胱壁面ｗ間の距離Dpが、所定の閾値Thre3とThre4の間にあるときは（S64:YES）、内視鏡画像の中心の膀胱壁面の点における法線方向と撮像素子１１の視線方向とのなす角度θpが、所定の閾値Thre5未満であるか否かを判定する（S65）。

膀胱壁面ｗの法線方向と撮像素子１１の視線方向とのなす角度θpが、所定の閾値Thre5未満であるときに撮像された内視鏡画像を貼り付けると、角度θpが略一定の角度である画像が貼り付けられる。

図１５は、膀胱壁面の法線方向と、対物光学窓１１ａの視線方向との成す角度との関係を説明するための図である。図１５に示すように、先端部２ｄの視線方向VSと、内視鏡画像における中心位置における膀胱壁面ｗの法線方向NLとの成す角度θpが、所定の閾値Thre5未満であれば、２D膀胱モデルM2の画像上には、角度θpが所定の閾値Thre5未満の内視鏡画像だけが貼り付けられる。膀胱壁面ｗの法線方向NLは、ステレオ計測で得られた膀胱壁面ｗの各部又は各点の距離から求められた膀胱壁面ｗの距離から求めることができる。

よって、S22の判定処理は、位置情報及び被検体内画像に基づき被検体の面を近似し、当該面の法線ベクトルと撮像素子１１の視線方向ベクトルのなす角度に基づいて、貼り付けを行うか否かの判定処理を含んでいる。

膀胱壁面ｗの法線方向NLと撮像素子１１の視線方向VSとのなす角度θpが所定の閾値Thre5未満であるとき（S65:YES）、CPU２１は判定情報check4をONにする（S66）。
また、先端部２ｄと膀胱壁面ｗ間の距離Dpが所定の閾値Thre3とThre4の間にないときは（S64:NO）、又は膀胱壁面ｗの法線方向NLと撮像素子１１の視線方向VSとのなす角度θpが所定の閾値Thre5以上であるとき（S65:NO）、CPU２１は、判定情報check4をOFFにする（S67）。
以上のようにして、画像貼り付け処理が実行される。

なお、上記の例では、S7において内視鏡画像と位置及び方向の情報とを関連付けてメモリ２２へ記録した後に、S8の画像貼付処理が実行されているが、メモリ２２への記録をしないで、S8の画像貼付処理が実行されるようにしてもよい。すなわち、撮像素子１１により取得された被検体画像は、メモリ２２に記録されることなく、S8の画像貼付処理が、撮像素子１１により取得された被検体画像を、所定臓器のモデル画像上へ直接貼り付けるようにしてもよい。

図３に戻り、次に、CPU２１は、最前面貼り付け処理を実行する（S9）。最前面貼り付け処理は、２Dモデル画像上に貼り付けられる内視鏡画像が複数あって、全体あるいは一部が互いに重なるように貼り付けられる場合に、レリーズ信号が有りの内視鏡画像が、最も前面に配置されて、他の内視鏡画像によって表示されないことがないようにする処理である。すなわち、内視鏡２のレリーズボタン１３が押されたときの被検体内画像は、他の被検体内画像に優先して、所定臓器のモデル画像上の最前面に貼り付けられる。

なお、S9において、レリーズ信号が有りの複数の内視鏡画像の全部あるいは一部が重なる場合は、後に取得された画像が、先に取得されて貼り付けられた内視鏡画像上に重畳して貼り付けるように、行われる。
よって、S9の処理は、S8で貼り付けられた内視鏡画像の画素位置に、既に貼り付けられている他の内視鏡画像の画素がある画素領域についてのみ行われる。

CPU２１は、最前面貼り付け処理が行われた２Dモデル画像を、表示I/F２３を介してモニタ６に表示する（S10）。このとき、CPU２１は、３Dモデル画像も生成して、２Dモデル画像と共に表示する。CPU２１は、先端部２ｄの位置方向情報に基づいて、挿入部２ｂの画像を生成して、３Dモデル画像上に重畳することによって、３Dモデル画像を生成する。

S10では、CPU２１は、S6で取得した先端部２ｄの位置と方向の情報に基づいて、挿入部の形状を推定し、その推定した形状の挿入部２ｂの画像を生成する。よって、S10の処理は、S6において取得した先端部２ｄの位置情報及び方向情報と、尿道口RPの位置情報と向き情報とに基づいて挿入部２ｂの形状推定を行う形状推定部を有し、S10において、所定臓器に関する３Dモデル画像上に、形状推定部により推定された形状情報である挿入部画像を重畳する処理が実行される。

CPU２１は、挿入部２１の先端部２ｄが膀胱Bから抜去されたか否かを判定する（S11）。S11の判定は、先端部２ｄの位置座標が、膀胱Bの頸部から尿道内へ移動した否かを判定することによって行うことができる。
先端部２ｄが膀胱Ｂ内から抜去されていない場合（S11:NO）、処理は、S4へ戻り、CPU２１は、先端部２ｄが膀胱Ｂ内から抜去されるまで、S4からS11の処理を繰り返す。

図１６は、モニタ６の画面上に表示される内視鏡検査時の表示画面の例を示す図である。図１６に示すように、画面G1は、CPU２１によって生成された画面であって、２Dモデル画像表示部３１と、３Dモデル画像表示部３２と、ライブの内視鏡画像（以下、ライブ画像という）を表示するライブ画像表示部３３とを含む。

２Dモデル画像表示部３１は、図７の２Dモデルに対応する２Dモデル画像を表示する領域である。２Dモデル画像表示部３１には、２Dの膀胱展開図である２Dモデル画像３１ａと、２Dモデル画像３１ａ上にS７及びS9の処理により貼り付けられた被検体内画像である内視鏡画像３１ｂが表示される。

３Dモデル画像表示部３２は、図６の３Dモデルに対応する３Dモデル画像を表示する領域である。３Dモデル画像表示部３２には、３Dモデル画像３２ａと、３Dモデルにおける挿入部２ｂの先端部２ｄの位置と方向を示す挿入部画像３２ｂが表示される。CPU２１は、上述したように、先端部２ｄの現在の位置方向情報に基づいて、挿入部画像３２ｂを生成する。

図１６の２Dモデル画像表示部３１は、先端部２ｄが膀胱B内に入って頂部方向を向いているときに最初に撮像した内視鏡画像が２Dモデル画像３１ａ上に貼り付けられたときの画像を表示している。

以上のように、撮像素子１１により取得されたライブの被検体内画像は、モデル画像と共に表示され、さらに、ライブの被検体内画像を撮像する撮像素子１１を有する挿入部２ｂの挿入形状も、モデル画像と共に表示される。

ライブ画像表示部３３は、モニタ６がプロセッサ５から取得した内視鏡画像を、そのまま表示する領域である。ライブ画像表示部３３は、例えばモニタ６のPinP機能により、画面G1内に含まれる。

なお、ここでは、ライブの内視鏡を、モニタ６のPinP機能を利用して、モニタ６上に表示しているが、記録装置３のCPU２１により画面G1中にライブ画像を合成させて、モニタ６に出力するようにしてもよい。

図１７は、複数の内視鏡画像が２Dモデル画像３１ａ上に貼り付けられている、モニタ６の画面上に表示される表示画面の例を示す図である。図１７の２Dモデル画像表示部３１は、先端部２ｄが移動して種々の方向を向いて撮像した複数の内視鏡画像３１ｂが２Dモデル画像３１ａ上に貼り付けられたときの画像を表示している。２Dモデル画像３１ａ上に貼り付けられる画像のほとんどは、画像貼り付け処理において、ボケ等のない明瞭が画像である。

S4からS11の処理が所定の周期（ここでは、３０分の１秒の周期）で繰り返されることにより、S5で取得された複数の内視鏡画像は、S8の貼り付け処理により、ボケ等のない明瞭な画像が重畳されて、図１７に示すように、２Dモデル画像表示部３１には、複数の内視鏡画像３１ｂが含まれる。複数の内視鏡画像が貼り付けられている領域が、検査者が観察した領域となる。よって、検査者は、図１７の画像を一見するだけで、内視鏡により観察した領域を簡単に判別することができる。

また、S4からS11の処理が繰り返される間、挿入部２ｂの先端部２ｄの位置及び方向は変化する。なお、３Dモデル画像表示部３２には、３Dモデル画像３２ａ上に、現在の先端部２ｄの視線方向を示す挿入部画像３２ｂが表示されるので、検査者は、現在どこを観察しているかを簡単に理解することができる。

先端部２ｄが膀胱Ｂ内から抜去されると（S11:YES）、モニタ６に表示された画面G1の２Dモデル画像表示部３１は、最後に取得された内視鏡画像に対する処理が行われたときの画像が表示された状態となる。また、３Dモデル画像表示部３２には、挿入部２ｂの挿入部画像３２ｂが表示されない３Dモデル画像３２ａのみが表示され、ライブ画像表示部３３には、膀胱Ｂ内のライブ画像は表示されない。

検査者は、２Dモデル画像表示部３１の画像を、患者のカルテのデータとしてメモリ２２の不揮発性メモリ部に記録してもよいし、印刷して、カルテに貼り付けるようにすることもできる。

ここで、座標系の変換と内視鏡画像の貼り付けについて説明する。
図１８は、磁場発生装置７の座標系とベッド８上の患者Pの膀胱Bの座標系の関係を説明するための図である。位置方向検出部２５は、磁場発生装置７の第１の座標系（X_０Y_０Z_０）を基準とする位置方向情報をリアルタイムで生成する。

そこで、CPU２１は、S3において、図１８に示すように、膀胱Bの入口の位置と方向を基準位置と基準方向と決定し、次の式（３）と式（４）に従って、位置方向検出部２５の位置方向情報を、膀胱Bの入口を基準とする座標系（X_１Y_１Z_１）の位置方向情報に変換する。

Ｐ_１＝Ｒ_０１Ｐ_０＋Ｍ_０１ ・・・式（３）
Ｖ_１＝Ｒ_０１Ｖ_０ ・・・式（４）
ここで、Ｐ_０とＶ_０は、それぞれ、磁場発生装置７を基準とする座標系である第１の座標系（X_０Y_０Z_０）における位置と方向ベクトルである。Ｒ_０１は、次の式（５）で示される回転行列であり、Ｍ_０１は、次の式（６）で示される並進行列である。

［式５］

［式６］

よって、第１の座標系（X_０Y_０Z_０）上の点（ｘ_０，ｙ_０，ｚ_０）は、次の式（７）に示すように、中間座標系（X_１Y_１Z_１）上の点（ｘ_１，ｙ_１，ｚ_１）に変換される。

［式７］

内視鏡の先端部２ｄの膀胱B内への挿入が検出されたときにおける位置方向検出部２５の位置と方向のベクトルをＰ´₀、Ｖ´₀とすると、並進行列Ｍ_０１は以下の式（８）により求められる。

Ｍ_０１＝−Ｐ´₀ ・・・式（８）
また、回転行列Ｒ_０１は以下の条件を満たすように求める。図１９は、中間座標系（X_１Y_１Z_１）上に投影される方向ベクトルを説明するための図である。回転行列Ｒ_０１の満たす条件は、Ｚ₁は重力方向と平行であること、及びＺ₁に対して垂直なX₁Y₁平面にV´₀を投影し、その投影したベクトル方向をY₁、Y₁Z₁平面に垂直なベクトルをX₁とする、ことである。

S6では、さらに、次の式（９）と式（１０）に従って、中間座標系（X_１Y_１Z_１）の位置と方向ベクトルは、３D膀胱モデルM1の中心を基準とする第２の座標系（X_２Y_２Z_２）における位置と方向ベクトルに変換される。図２０は、中間座標系（X_１Y_１Z_１）と第２の座標系（X_２Y_２Z_２）の関係を説明するための図である。

Ｐ_２＝Ｒ_１２Ｐ_１＋Ｍ_０２ ・・・式（９）
Ｖ_２＝Ｒ_１２Ｖ_１ ・・・式（１０）
ここで、Ｐ_１とＶ_１は、それぞれ、中間座標系（X_１Y_１Z_１）における位置と方向ベクトルであり、Ｐ_２とＶ_２は、それぞれ、第２の座標系（X_２Y_２Z_２）における位置と方向ベクトルである。Ｖ_２は、第２の座標系（X_２Y_２Z_２）における内視鏡画像の中心の画素の方向ベクトルである。Ｒ_１２は、次の式（１１）で示される回転行列であり、Ｍ_０２は、次の式（１２）で示される並進行列である。

［式１１］

［式１２］

よって、中間座標系（X_１Y_１Z_１）上の点（ｘ_１，ｙ_１，ｚ_１）は、次の式（１３）に示すように、第２の座標系（X_２Y_２Z_２）上の点（ｘ_２，ｙ_２，ｚ_２）に変換される。

［式１３］

X₁Y₁Z₁座標系をY₁軸方向にR₂移動した場合、並進M₁₂と回転R₁₂は、それぞれ、式（１４）と式（１５）のようになる。

［式１４］

［式１５］

以上のように、磁場発生装置７の第１の座標系（X_０Y_０Z_０）の位置Ｐ_０は、式（７）と式（１３）より、３Dモデルの中心を基準とする第２の座標系（X_２Y_２Z_２）の位置Ｐ_２に変換され、第１の座標系（X_０Y_０Z_０）における方向V_０は、次の式（１６）に従って、第２の座標系（X_２Y_２Z_２）の方向V_２に変換される。

V_２＝Ｒ_１２Ｒ_０１V_０ ・・・式（１６）
また、S7における内視鏡画像の貼り付け処理においては、第２の座標系（X_２Y_２Z_２）において、３D膀胱モデルM1の内面に内視鏡画像を貼り付ける場合の座標の算出について説明する。

３DモデルM1は、膀胱Bの形状を、半径R2の球体と仮定している。内視鏡画像は、その球体の内面に貼り付けられる。図２１は、第２の座標系（X_２Y_２Z_２）において球体の内面上の座標を説明するための図である。図２２は、先端部２ｄの位置と方向ベクトルから第２の座標系（X_２Y_２Z_２）における位置Ｐ_２と方向V_２を説明するための図である。

先端部２ｄの第２の座標系（X_２Y_２Z_２）における位置Ｐ_２と方向V_２が決定すると、得られた内視鏡画像の、球体の内面上の座標を求める。そのために、次の式（１７）と式（１８）を満たす係数ｋを算出し、第２の座標系（X_２Y_２Z_２）における座標Ｐ_２１を求める。

Ｐ_２１＝Ｐ_２＋ｋV_２ ・・・式（１７）
｜Ｐ_２１｜＝Ｒ_２ ・・・式（１８）
内視鏡画像は、求めた座標Ｐ_２１の位置に投影されて貼り付けられる。

次に、第２の座標系（X_２Y_２Z_２）における位置が、２Dモデルの座標系に投影される。まず、膀胱Bの腹側の半球の場合（０≦Ｚ_２）は、２次元の膀胱モデルは左右が反転するため、u方向の値は、次の式（１９）により示され、ｖ方向の値は、次の式（２０）により示される。

ｕ＝−ｘ_２１ ・・・式（１９）
ｖ＝ｙ_２１＋Ｒ_２ ・・・式（２０）
また、膀胱Bの背中側の半球の場合（Ｚ_２＜０）は、２次元の膀胱モデルは左右が反転するため、u方向の値は、次の式（２１）により示され、ｖ方向の値は、次の式（２２）により示される。

ｕ＝−ｘ_２１ ・・・式（２１）
ｖ＝−ｙ_２１−Ｒ_２ ・・・式（２２）
図２３は、２次元の座標系（U,V）における座標関係を説明するための図である。
方向ベクトルV_２は、上述したように、第２の座標系（X_２Y_２Z_２）における内視鏡画像の画像中心の画素の方向ベクトルである。よって、内視鏡画像のおける画像中心の画素以外の画素については、各画素の方向ベクトルを求め、上述した式（１７）から式（２２）の変換演算を繰り返すことによって、内視鏡画像の全体を第２の座標系（X_２Y_２Z_２）の球体の内面に貼り付けることができる。

図２４は、内視鏡画像の全体を走査して、第２の座標系（X_２Y_２Z_２）の球体の内面への各画素の貼り付けを説明するための図である。内視鏡画像EIの各画素を、点線で示すように、所定の方向に走査しながら、第２の座標系（X_２Y_２Z_２）の球体の内面への各画素の貼り付けが行われる。図２４において、V_２′は、内視鏡画像EIの各画素の貼り付けベクトルを示し、P_２１′は、第２の座標系（X_２Y_２Z_２）の球体の内面の貼り付けベクトルを示す。
以上のように、本実施の形態によれば、膀胱B内を検査した部分の内視鏡画像が、２Dモデル画像３１ａ上に重畳され、かつレリーズボタン１３が押されたときの内視鏡画像は、２Dモデル画像３１ａ上で最前面にくるように重畳されて表示されるので、検査者は、膀胱Ｂ内で確認した領域を簡単に確認できると共に、病変部あるいは気になった部位の画像を明瞭にみることができる。
なお、２Dモデル画像３１ａ上に内視鏡画像を貼り付ける場合、レリーズボタン１３が押されたときの内視鏡画像のみを貼り付けるようにしてもよい。

図２５は、モニタ６の画面上に表示される画像の他の例を示す図である。２Dモデル画像表示部３１では、レリーズボタン１３が押されたときの内視鏡画像のみが、２Dモデル画像３１ａ上に貼り付けされている。検査者は、図２５の２Dモデル画像表示部３１の画像も、患者のカルテのデータとしてメモリ２２の不揮発性メモリ部に記録してもよいし、印刷して、カルテに貼り付けるようにすることもできる。

上述した例では、磁気センサ１２は、６軸のセンサであるので、２Ｄモデル画像上に貼り付けられる複数の内視鏡画像の上下左右方向が一致するように貼り付けられる。しかし、磁気センサ１２は、５軸のセンサでもよい。

図２６は、５軸センサを用いた場合における、モニタ６の画面上に表示される画像の例を示す図である。図２７は、５軸センサを用いた場合における、レリーズボタン１３が押されたときの内視鏡画像のみが２Dモデル画像３１ａ上に貼り付けられ画像の例を示す図である。図２６は、図１７に対応し、図２７は、図２５に対応する。

磁気センサ１２が５軸センサであるとき、挿入部２ｂの軸回りの回動角度を検出することができないが、図２６及び図２７に示すように、各内視鏡画像３１ｂは、挿入部２ｂの軸周りの回動に関係のない所定の角度で、２Ｄモデル画像３１ａ上に貼り付けられる。
５軸センサを用いても、上述した実施の形態と同様の効果を得ることができる。

さらになお、上述した例では、通常光観察モードにおける内視鏡画像が、臓器モデル画像上に貼り付けられるが、特殊光観察モードにおける内視鏡画像を、臓器モデル画像上に貼り付けるようにしてもよい。

この場合は、上述した図１７、図２５から図２７において、内視鏡画像３１ｂは、通常光の内視鏡画像でなく、特殊光（ここでは狭帯域光）の内視鏡画像となる。
また、２つの臓器モデル画像を表示し、一方には、通常光の内視鏡画像を貼り付け、他方には、特殊光の内視鏡画像を貼り付けるようにしてもよい。

図２８は、２つの観察モードに対応して２つの臓器モデルの画像を表示した場合の表示画面の例を示す図である。
図２８において、図１７、図２５から図２７において同じ構成要素については、同じ符号を付し説明は、省略する。なお、図２８は、６軸センサを用いた場合の例を示す。

図２８では、通常光の内視鏡画像の臓器モデル画像に加えて、特殊光の内視鏡画像を貼り付けるための２Dモデル画像表示部３４が、画面上に追加されている。
２Dモデル画像表示部３４には、２Dモデル画像３４ａと、２Dモデル画像３４ａ上にS７及びS9の処理により貼り付けられた特殊光の内視鏡画像３４ｂが表示される。

２Dモデル画像表示部３１には、通常光の内視鏡画像が表示され、２Dモデル画像表示部３４には、狭帯域光の内視鏡画像が表示されるので、検査者は、両方を比べながら、検査などを行うことができると共に、その後の検査においても、カルテに両方の画像が添付されていれば、検査者は、前回の検査における臓器の状態をより詳細に知ることができる。

よって、画像生成部を構成するS7では、モデル画像が複数設定されると共に、照明部である光源装置４の照明光の種類に基づいて複数設定されたモデル上に、照明光の種類に応じた内視鏡画像の貼り付けが行われる。

なお、狭帯域光の内視鏡画像は、通常光の内視鏡画像に比べて、より細かな粘膜表面内部のテクスチャを示すので、２Dモデル画像表示部３１の２Dモデル画像３１ａ上に、レリーズボタンが押されたときの狭帯域光の内視鏡画像が最前面に貼り付けるようにして、１つの２Dモデル画像表示部上に、通常光の内視鏡画像と狭帯域光の内視鏡画像の両方を貼り付けた画像を生成するようにしてもよい。

さらになお、先端部２ｄが膀胱内に入ったことは、内視鏡画像を見ている検査者も、モニタ６に表示される内視鏡画像の変化により、分かるので、検査者が先端部２ｄが膀胱B内に入ったときに、操作部２ａあるいはプロセッサ５の操作パネルにおいて所定の操作を行うことによって、基準の位置と方向を記録するようにしてもよい。すなわち、検査者による所定の操作入力に基づいて、対物光学窓１１ａの位置及び方向と、臓器モデル画像の座標系との位置合わせを行うようにしてもよい。

また、検査者が体腔外で尿道から膀胱に入る位置を指定し、その位置が含まれる平面（膀胱Bの入口を基準とする座標系（X_１Y_１Z_１）のY_１方向に垂直な平面）を設定する。内視鏡を尿道に挿入し、その平面を通過したときの位置と向きを基準の位置と方向として記録するようにしてもよい。すなわち、予め設定された基準平面に対する位置情報に基づいて、対物光学窓１１ａの位置及び方向と、臓器モデル画像の座標系との位置合わせを行うようにしてもよい。

以上のように、上述した本実施の形態の内視鏡システムによれば、検査者が内視鏡画像の検査対象臓器における位置を容易にわかり、かつ対象臓器の臓器モデル画像上には明瞭な内視鏡画像が貼り付けられる内視鏡システム及び内視鏡画像処理方法を実現することができる。

さらに、上述した本実施の形態の内視鏡システムによれば、膀胱B内の病変部の位置、及び観察している領域を容易に確認できるので、病変部の見逃しが防止されて再検査率の低減、カルテへの記載間違いの低減を図ることもできる。

なお、上述した実施の形態では、撮像素子１１により撮像して得られた内視鏡画像がメモリ２２に一旦記憶され、その記録された内視鏡画像をモデル画像上に貼り付けるときに、明瞭な画像のみを選択しているが、撮像素子１１により撮像して得られた内視鏡画像を、メモリ２２に記憶するときに、明瞭な画像のみを選択するようにしてもよい。

すなわち、S7の記録処理の前に、S22における判定を行い、S7の記録処理では、貼り付け可能な画像と判定された被検体内画像と、位置情報により取得された位置情報と、が関連付けられてメモリ２２に記録され、その後に、S24による画像貼り付け処理が実行される。

例えば、S22において実行される図１０〜図１３の処理による判定処理を、撮像素子１１から得られた内視鏡画像を記憶する記録処理（S7）において実行する。この場合、記録処理において実行されるS22の処理は、撮像素子１１により取得された被検体内画像の画像情報又は位置情報に基づいて、記録処理において、記録を行うか否かの判定を行う判定部を構成する。

このように、記録処理において明瞭な画像のみを選択する処理を実行するようにしても、上述した実施の形態と同様の効果を得ることができ、さらに、メモリ２２に記憶される内視鏡画像の数が低減するので、メモリ２２の記憶容量が小さくて済むという効果もある。

さらになお、明瞭な内視鏡画像を選択する種々の処理の一部を、S7の記録処理で実行し、残りの処理を画像貼り付け処理で実行するようにしてもよい。例えば、画像処理による判定処理を、S7の記録処理において実行し、位置方向情報による判定処理と、膀胱壁面までの距離と、視線方向による判定処理を、S8の画像貼り付け処理で実行する。

さらになお、上述した実施の形態では、内視鏡画像は、２次元の臓器モデル画像上に貼り付けられているが、３D画像である、３次元の臓器モデルの画像上に貼り付けるようにしてもよい。すなわち、モデル画像は、２D画像でなく、３D画像でもよい。
さらになお、上述した実施の形態では、膀胱内の内視鏡画像を、膀胱の２Dモデル画像上に貼り付けるが、上述した実施の形態の内視鏡システムは、膀胱以外の他の臓器、例えば胃、子宮、に対しても適用可能である。

胃の場合、食道から胃に入るとき、肺の場合、気管の下方において最初に左右の気管支に分かれるとき、子宮の場合、子宮頸部から子宮内に入るとき、等に、画像の変化から、基準情報を決定でき、臓器モデル画像上に貼り付けることができる。

また、上述した実施の形態では、内視鏡２は、可撓性を有する挿入部を有する軟性鏡であるが、本発明は、硬性鏡や走査型内視鏡などの他のタイプの内視鏡にも適用可能であり、さらに、挿入部が先端部の対物光学窓に入射した光を基端部まで導く導光部材を有するような内視鏡にも適用可能である。
さらに、上述した内視鏡システムは、臓器内の内視鏡画像の位置を記録し、あるいは表示させるために利用されているが、ランダムバイオプシーにおける生検位置の記録にも利用することができる。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本出願は、２０１３年３月１９日に日本国に出願された特願２０１３−５６９０７号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (5)

1. 被検体内に挿入する挿入部と、
   前記挿入部の先端側に設けられ、前記被検体からの光を受ける対物光学窓と、
   前記対物光学窓から入射された光から前記被検体内を撮像する撮像部と、
   前記対物光学窓の位置方向情報を取得する位置情報取得部と、
   前記被検体内の所定臓器モデル画像を記憶する記憶部と、
   前記撮像部により取得された被検体内画像と、前記位置情報取得部により取得された位置方向情報と、を関連付けて前記記憶部に記録を行う記録部と、
   前記位置方向情報に基づいて前記撮像部が所定の速度以上で移動しているか否かを判定し、前記所定の速度以上で移動していない場合において、前記対物光学窓の位置方向情報と前記所定臓器モデル画像の座標系における位置方向情報とが対応付けられた状態の所定臓器のモデル画像に対して前記被検体内画像が貼り付け可能な画像であるとの判定を行う判定部と、
   前記判定部により貼り付け可能と判定された前記被検体内画像を前記記憶部から読み出し、前記位置方向情報に基づき前記所定臓器のモデル画像上への貼り付けを行う画像貼り付け部と、
   を備えることを特徴とする内視鏡システム。
2. 前記被検体に対して白色光又は所定波長帯域を有する狭帯域光を切り換え可能に照射する照明部を更に備え、
   前記画像貼り付け部は、前記所定臓器のモデル画像を複数設定すると共に、前記照明部の照明光の種類に基づいて複数設定されたモデル画像上に前記被検体内画像の貼り付けを行うことを特徴とする請求項１に記載の内視鏡システム。
3. 前記被検体内画像は、前記被検体の膀胱内の画像であり、
   前記モデル画像は、膀胱のモデル画像であることを特徴とする請求項１に記載の内視鏡システム。
4. 前記モデル画像は、２Dの膀胱展開図であることを特徴とする請求項３に記載の内視鏡システム。
5. 前記モデル画像は、３D画像又は２D画像であることを特徴とする請求項１に記載の内視鏡システム。

Images