JP2018537155A - 患者の体内における内視鏡の位置を追跡するための装置及び方法 - Google Patents

Abstract

内視鏡施術中に患者の体内における内視鏡の位置を追跡するシステムと方法を開示する。装置および方法は、内視鏡の座標系において患者の体内における内視鏡の位置を決定することと、外部追跡装置を用いて内視鏡に取り付けられた基準マーカーの画像を撮影することと、撮影された基準マーカーを内視鏡の座標系から光学追跡装置の座標系に変換することと、患者の臓器モデル上に内視鏡の仮想画像を投射することと、および、結合した画像を投影または表示することを含む。

Description

本発明は、内視鏡に関する。より詳細には、患者の体内における内視鏡の位置を含む画像を患者の体の上、または、患者の体の画像上に重ねて表示するための装置及び方法に関する。

内視鏡は、消化管や、気道、胃腸系、およびその他の臓器系等の体内の検査や治療に使用される医療器具である。従来の内視鏡は、ビデオカメラと管の近位端に配置された外部光源から遠位端まで光を導く光ファイバー光ガイドとを備える剛性または可撓性の長尺状の管状シャフトである。多くの内視鏡は、１つ以上のチャネルを備え、その中を通って医療器具、例えば、鉗子や、プローブや、その他の医療器具が挿入される。内視鏡施術中には、シャフトを介して、流体、例えば、水、生理食塩水、薬剤、コントラスト材料、色素、または、乳化剤が導入、または排出される。シャフト内には、液体を導入また吸引するための複数のチャネルを設置することができる。

内視鏡は、施術者に患者の体内の生体構造を視認可能にするとともに、患者に与える外傷を最小限にして施術を実施する手段を提供するため、医療界において広く受け入れられている。長年にわたって数多くの内視鏡が開発され、用途に基づいて膀胱鏡、結腸内視鏡、腹腔鏡、上部消化管内視鏡などに分類されている。内視鏡は、身体の自然開口、または、皮膚に形成した切開口を介して挿入される。

内視鏡の中には、結腸などの内部臓器を可視化するための可視化要素や、可視化要素の視野を照明するための照明器を備えるものがある。可視化要素や照明器は、内視鏡の先端に配置されて内視鏡でスキャンされた体管腔内壁の画像の撮影に使用される。撮影された画像は、制御ユニットに接続されたスクリーン表示する為に、内視鏡のシャフトにあるチャネルの１つを介して内視鏡に接続された制御ユニットに送られる。

内視鏡施術の間、操作を行う外科医は、制御ユニットに接続されたスクリーンに表示された撮影画像をガイドとして用いて、患者の体内で内視鏡を動かす。しかしながら、外科医は、体内における患者の内部臓器に対する内視鏡の正確な位置を知ることはできない。したがって、外科医は、主に、自身が有する生体構造に関する知識や経験や内部臓器の表示画像に基づいて内視鏡の操作を行う。

従来の内視鏡ガイドシステムは、内視鏡施術中に体内における内視鏡の位置を表示することによって、操作する外科医が患者の体内における内視鏡の位置を視認可能にしている。しかしながら、このような表示は、内視鏡の座標系に対する内視鏡の位置を表示するものであって、患者の座標に対して表示するものではない。したがって、装置使用者には、患者の体に対する内視鏡の正確な位置は提供されない。このことは、装置使用者に、患者に対して不快感や痛みを与えるような内視鏡の操作をさせる可能性がある。

よって、内視鏡の座標と患者の座標とを組み合わせることにより患者の体内における内視鏡の正確な位置を表示するための装置および方法が必要とされている。また、患者の内部臓器に対する内視鏡の位置を強調して明確に表示する増強された現実環境を提供するために患者の情報と内視鏡の情報とを組み合わせる方法が必要とされている。

以下の実施形態および実施態様では、システムと器具と方法とが共にして説明され図示されているが、これらは例示であって、本願発明の範囲を限定することを意味していない。

本願発明は、内視鏡ハンドルと患者の胃腸管内に挿入するのに適した内視鏡本体とを備える内視鏡システムであって、システムは、内視鏡ハンドル上に配置された複数の方位マーカーを備え、方位マーカーは、内視鏡ハンドルの外周囲に配置され、複数のセンサーは、内視鏡本体の外部表面に沿って長軸方向の異なる位置に配置され、複数のセンサーの各々は、第１方位データを生成し、１つ以上のカメラは、患者の体外に配置されて複数の方位マーカーのうちの１つ以上を検出するように構成され、制御装置は、第１方位データと第２方位データとを受信して、患者の胃腸管内における内視鏡本体の位置を示すデータを形成する。

任意に、内視鏡本体の位置を示すデータは、患者の胃腸管内に挿入された内視鏡本体全体の位置を含む。
任意に、検出器は、内視鏡本体の長さに沿って長軸方向に配置され、少なくとも０．１ｍｍの予め定められた間隔で配置される。

任意に、制御装置は、内視鏡本体の位置を示すデータに基づいて内視鏡本体の画像を形成する。
任意に、制御装置は、患者の位置を定義する座標系に対して内視鏡の方向の変換を実行し、かつ、前記変換を前記画像に適用することによって、前記画像の方向を合わせる。

任意に、制御装置は、方向を合わせた内視鏡本体の画像の重ね合わせ画像を形成するために、患者の胃腸管の一部の画像上に方向を合わせた画像を重ね合わせる。
任意に、第１方位データは、内視鏡座標系に対する内視鏡本体の位置を示すデータである。

任意に、第２方位データは、患者の座標系に対する内視鏡のハンドルの位置を示すデータである。
任意に、内視鏡システムは、方向を合わせて重ね合わせた内視鏡本体の画像を制御装置から受信して、患者の上に投影する投影機をさらに備える。

任意に、複数の方位マーカーは、内視鏡のハンドルに配置された球体からなり、各球体は、０．５〜２ｃｍの範囲の直径を有する。
任意に、複数の方位マーカーは、ピンポイントサイズのレーザービームからなる。

任意に、複数の方位マーカーは、赤外光を反射または放出する材料から形成される。
任意に、複数のセンサーは、電気光学的方法および機械的方法のうちのいずれか一方によって内視鏡の挿入チューブの屈曲とねじりを計測する加速度計、ジャイロスコープ、磁力計、ストライプのうちの１つ以上を備える。

任意に、複数のセンサーは、内視鏡の長尺シャフトおよび挿入チューブのうちの一方に沿って配置された誘導センサー、容量センサー、容量変位センサー、光電子センサー、磁気センサー、赤外線センサーのうちの１つ以上を備え、各センサーは、挿入されたチューブの位置に基づく固有の識別子に対応する。

任意に、内視鏡システムは、内視鏡本体の外部表面に沿って長軸方向の異なる位置に配置された距離マーカーを検出して距離に関するデータを形成する距離センサーをさらに備え、距離センサーは、患者の胃腸管内で挿入チューブが移動した距離を提供する深度センサーと接触センサーのうちのいずれか一方からなる。

任意に、内視鏡システムは、三角測量により、カメラ座標系において基準物の３次元空間の位置からなる第２方位データを形成する立体写真撮影用に較正された（stereo-calibrated）カメラを２台備える。

本願発明は、内視鏡施術中に、患者の臓器内における内視鏡の位置を追跡する方法をさらに開示する。方法は、内視鏡の座標系において臓器内における内視鏡の位置を特定することと、外部光学追跡装置で複数の基準マーカーを画像内に撮影することと、内視鏡の座標系から光学追跡装置の座標系に撮影された基準マーカーを変換することと、患者の臓器モデル上に撮影された基準マーカーを検出することと、基準マーカーを含む内視鏡の画像を、基準マーカーを含む患者の臓器の画像に投射すること、とからなる。

任意に、外部光学追跡装置は、内視鏡施術を実行する内視鏡の上方に配置されたカメラである。
任意に、撮影された基準マーカーは、物体検出アルゴリズムを用いて患者の臓器モデル上で検出される。さらに任意に、撮影された基準マーカーは、ホーン変換を用いて患者の臓器モデル上で検出される。任意に、方法は、較正された投影機を用いて、内視鏡の位置を患者の体に直接的に投影することをさらに含む。

本願発明は、内視鏡施術中に患者の臓器内における内視鏡の位置を追跡するための内視鏡システムも開示する。システムは、複数の基準マーカーが取り付けられた内視鏡と、内視鏡の外部に配置された光学追跡装置と、光学追跡装置で撮影された画像を少なくとも処理する計算機ユニットと、内視鏡施術中に複数の基準マーカーと内視鏡を画像に撮影する光学追跡装置と、撮影された基準マーカーを内視鏡の座標系から光学追跡装置の座標系に変換して、基準マーカーを含む内視鏡の画像を、基準マーカーを含む患者の画像に投射する計算機ユニットと、を少なくとも備える。

任意に、外部光学追跡装置は、内視鏡施術を実施する内視鏡の上方に配置されたカメラである。
任意に、撮影された基準マーカーは、内視鏡の座標系から光学追跡装置の座標系に物体検出アルゴリズムを用いて変換される。さらに任意に、撮影された基準マーカーは、内視鏡の座標系から光学追跡装置の座標系にホーン変換を用いて変換される。

任意に、システムは、内視鏡の位置を患者の体に直接的に投影する較正された投影機をさらに備える。
本願発明にかかる上述した実施形態またはその他の実施形態は、以下の図面および詳細な説明においてさらに詳細に説明する。

本願発明の特徴および有利な点は、以下の添付の図面を考慮して詳細な説明を参照することによってより深く理解することができると考えられる。

本願発明の方法が実行される複数の可視化要素を含む内視鏡システムを示す図。 本願発明の方法が実行される複数の可視化要素を含む内視鏡システムの配置、および、手術室に配置された関連インターフェイス装置を示す図。 本願発明の方法が実行される複数の可視化要素を備える内視鏡システムの配置の別例と手術室に配置された関連インターフェイス装置を示す図。 本願発明の方法が実行される複数の可視化要素を備える内視鏡システムの配置の別例と手術室に配置された関連インターフェイス装置を示す図。 本願発明の実施形態にかかる、複数のセンサーを有する長尺状シャフトを備える複数の可視化要素を有する内視鏡を用いて内視鏡先端部の深さ、距離、または、位置の測定を示す図。 本願発明の実施形態にかかる、内視鏡施術中に患者の内部臓器内における内視鏡の位置を追跡する方法を示すフローチャート。 本願発明の実施形態にかかる、基準マーカーを含む内視鏡の３次元モデルを示す図。 光学追跡装置またはカメラによって２次元平面に投射された図４Ａに示した内視鏡の３次元モデルを示す図。 本願発明の実施形態にかかる、同一のカメラで撮影された内視鏡の画像上に投射された図４Ａに示した基準マーカーを示す図。

本願発明は、患者の体内における内視鏡の位置を表示するための方法を提供する。一実施形態では、内視鏡施術で使用される内視鏡の画像は、患者の体の上に直接的に投影され、操作する外科医に体内における内視鏡の位置を明確に把握させる。別の実施形態では、患者の体内における内視鏡の位置は、患者の内部臓器の画像とともに１つの画像としてモニター上に表示され、装置使用者が、内視鏡を体内で容易に操作することができる。

複数の実施形態において、本願発明は、内視鏡施術中に操作する外科医が患者の体内における内視鏡の位置を正確に特定できるため、内視鏡の移動時間が大幅に短縮される。本願の方法によれば、装置使用者は、胃腸管の施術中に患者の盲腸から内視鏡先端の距離を正確に把握することができる。

一実施形態において、本願発明の方法は、患者の結腸の３次元再構成を可能にする。内視鏡施術中に撮影された画像は、結腸モデル上に表示され、内視鏡の操作性と結腸の診断を向上させうる。

ここで用いる「内視鏡」という用語は、いくつかの実施形態において、特には結腸鏡を指すが結腸鏡に限定されない。「内視鏡」という用語は、中空状の臓器または体管腔内部を調べるために使用される任意の装置を指す。

本明細書内に出てくる以下に述べる複数の用語は、類似の構成要素に対して使用または呼称する際に交換可能に使用され、かつ、いかなる場合にも限定するものと解するべきではない。

「単一チューブまたはケーブル」は、「臍帯チューブまたはケーブル」とも呼称される。
「主制御ユニット」は、「制御ユニット」または「主制御装置」とも呼称される。

「可視化要素」は、画像取得装置または要素、可視化要素、カメラ、テレビカメラ、またはビデオカメラとも呼称される。
「ワーキングチャネル」は、「サービスチャネル」とも呼称される。

「照明器」は、「照明源」、いくつかの実施形態では、ＬＥＤとも呼称される。
「可撓性シャフト」は、屈曲部分または椎骨機構とも呼称される。
本願明細書に亘って使用される「基準」は、基準マーカーなど標準物または参照物を指す際に使用される。

本願明細書使用される「光学アセンブリ」は、内視鏡装置が光を捕捉してその光を少なくとも１つの画像に変換することを可能にする複数の構成要素からなるセットを説明する際に使用される。いくつかの実施形態では、レンズまたは光学要素は、光を捕捉することに使用され、センサーなどの撮像装置は、その光を少なくとも１つの画像に変換することに使用される。

撮像装置は、電荷結合素子（ＣＣＤ）、または相補型ＭＯＳ（ＣＭＯＳ）画像センサー、または、画像撮影に使用可能な光感受性表面を備えたその他の装置である。いくつかの実施形態において、光学要素で受光した反射光を検出するために、ＣＣＤまたはＣＭＯＳ画像センサーが使用される。

いくつかの実施形態では、光学要素は、レンズアセンブリ、レンズ、および保護ガラスなどの複数の光学要素を備え、標的物体から反射された光を受光する。
本願発明の実施形態において、先端カバーは、内視鏡の先端部分を収容する。先端カバーを備える先端部分は、可撓性シャフトで方向転換または操作され、屈曲部分、例えば、椎骨機構と呼称される。先端カバーは、電子回路基板アセンブリと流体チャネリング要素などの先端部分の内側部の上面を覆い、体管腔などから、内側部にある内部構成要素を保護する。その結果、内視鏡は、体管腔内において診断または外科手術を実施することができる。先端部分は、施術の標的である体管腔内の部位を可視化するために、カメラ等の１つ以上の可視化要素を備える。

先端カバーは、可視化要素の光学レンズアセンブリの為の透明表面、窓、または、開口部を有するパネルを備える。パネルと可視化要素とは、先端部分の前部と側部とに配置される。光学レンズアセンブリは、静止または可動性の複数のレンズを備え、異なる視野を提供する。

電気回路基板アセンブリは、可視化要素を備え、可視化要素は、パネルの開口部を通して可視化する。可視化要素は、ＣＣＤやＣＭＯＳ画像センサーなどの画像センサーを含むがこれらに限定されない。

電子回路基板アセンブリは、照明器の光学的窓を通して照明を提供しうる照明器を備える。照明器は可視化要素と関連付けられ、可視化要素の視野を照明するように配置される。

本願発明は、体内における内視鏡の座標を決定することにより、患者の体内における内視鏡の位置を特定する方法を提供する。一実施形態では、本願発明は、患者の体内において内視鏡の位置を追跡するために、基準マーカー、即ち点を使用する。一実施形態では、基準マーカーは、内視鏡のハンドルの周面全体に配置され、検出システムとともに、ハンドルが３次元空間においてどのように方向転換され、またはどの方向に配置されているかを記述するためのデータを提供する。一実施形態では、基準マーカーの位置を撮影するためにカメラシステムが使用され、既知のアルゴリズムを用いて、内視鏡の方向がカメラシステムに対して変換される。一実施形態では、患者とカメラシステムの位置を固定することにより、カメラシステムは、患者の体の上に投影される画像に縮尺の調節や内視鏡の方向の変換をすることができる。

複数の実施形態において、患者の体内における内視鏡の位置は、内視鏡の屈曲、回転、または方位を計測するセンサーによって追跡される。別の実施形態では、センサーは、患者の体内で内視鏡が移動した距離に関するリアルタイムの情報を提供すべく内視鏡の挿入チューブに沿って一体的に配置される。ある実施形態では、基準マーカーから得られる内視鏡の方向に関する情報と、屈曲、回転、またはセンサーを介して得られる方向に関する情報は、ともに患者の体内における内視鏡全体の正確な幾何学的配置を提供する。一実施形態において、内視鏡の第１位置に関する位置は基準マーカーを用いて決定され、内視鏡本体に沿った各点の位置は、内視鏡のハンドルに対する方向転換や配置の変更、および、患者の体内で点が移動した距離、を用いて決定される。

本願発明は、複数の実施形態に関する。以下の説明は、当業者が本願発明を実施可能に提供されている。本願の明細書で使用される用語は、特定の実施形態を否定すること、または、ここで用いる用語の意味を超えて請求項を限定することに使用されると解してはならない。ここで定義する一般的な原則は、本願の発明の趣旨と範囲を逸脱することなく他の実施形態と用途に使用しうる。加えて、用いる用語や表現は、例示の実施形態を説明するためのものであって、限定であると解してはならない。したがって、本願発明は、開示された原則及び要素を備える多数の代替形態と、変更形態と、均等形態とを包含する最も広い範囲であると解される。簡潔性のために、本願の属する技術分野において周知の技術的な材料に関する詳細は、本願発明を不必要に不明確にする為、詳細には説明していない。

特定の実施形態に対応づけて説明されているいかなる要素または構成要素も、他の説明が明確になされていないかぎり、その他の任意の実施形態とともに使用し、かつ、実行することができる。

図１Ａについて説明する。図１Ａは、複数の可視化要素を備える内視鏡システム１００を示している。システム１００は、複数の可視化要素を備える内視鏡１０２を含む。複数の可視化要素を有する内視鏡１０２は、ハンドル１０４を備え、同ハンドルから長尺状シャフト１０６が延びている。長尺状シャフト１０６は、屈曲部分１１０によって方向転換が可能な先端部分１０８を有する。ハンドル１０４は、体管腔内において長尺状シャフト１０６を操作する際に使用される。ハンドルは、流体の注入と吸引などの機能と屈曲部分１１０を制御する１つ以上のボタンとノブとスイッチ１０５のうちの少なくともいずれか１つを備える。ハンドル１０４は、少なくとも１つ、いくつかの実施形態においては、１つ以上の側面のサービスチャネル開口部に加えて１つ以上のワーキングチャネル開口部１１２を備え、ワーキングチャネル開口部を介して外科処置用の器具が挿入される。

ユーティリティケーブル１１４は、臍帯チューブとも呼称されるが、ハンドル１０４と主制御ユニット１９９とを接続する。ユーティリティケーブル１１４は、１つ以上の流体チャネルと１つ以上の電気的チャネルとを備える。電気的チャネルは、可視化要素と別体の照明器に対して電力を供給する少なくとも１つの電力ケーブルと、前方向きと側方向きの可視化要素からビデオ信号を受信する少なくとも１つのデータケーブルとを備える。

主制御ユニット１９９は、内視鏡１０２で撮影された内部臓器の画像を表示する際に必要とされる制御を行う。主制御ユニット１９９は、内視鏡１０２の先端部分１０８、例えば先端部分の可視化要素や照明器に電力を供給する。主制御ユニット１９９は、１つ以上の流体、液体、および内視鏡１０２に対応する機能を提供する吸引ポンプのうちの少なくともいずれか１つをさらに制御する。人が主制御ユニット１９９に関与可能にするために、主制御ユニット１９９には、キーボード、タッチスクリーンなどの１つ以上の入力装置１１８が接続される。図１に示した実施形態では、主制御ユニット１９９は、内視鏡１０２の使用時に、内視鏡施術に関する操作情報を表示する為のスクリーンまたはディスプレイ１２０を備える。スクリーン１２０は、複数の可視化要素を有する内視鏡１０２の可視化要素から受信した画像およびビデオ画像のうちの少なくともいずれか一方を表示する。スクリーン１２０は、操作する者が、内視鏡システムの様々な要素を設定可能にするユーザーインターフェイスをさらに表示しうる。

複数の実施形態において、患者の体内における内視鏡の位置は、体内における内視鏡の座標を決定することにより計算される。内視鏡の座標系においてまたは外部座標系に対する内視鏡の位置と姿勢とを決定する為に、様々な方法が使用される。

一実施形態において、本願発明は、患者の体管腔内において内視鏡の位置を追跡する為に基準マーカーまたは基準点を使用する。当業者には周知であるが、基準マーカーまたは基準点は、形成された画像に現れる画像化システムの視野に配置された物体であり、参照または計測点として使用される。基準マーカーは、画像化する被検体の中または上に配置されたもの、または、光学機器のレチクルの標識乃至標識のセットである。基準マーカーの位置は、患者の体内における内視鏡の姿勢の計算に使用する方法に依存する。

一実施形態では、基準マーカー、即ち点は、内視鏡の座標（内部座標系）に対する内視鏡の位置の計測を可能にする、内視鏡のハンドル上に配置された小球体（ボール）である。これらの球体は、画像内で容易に認識することができる。別の認識可能な形状は、限定ではないが十字形などがあり基準マーカーとして使用される。一実施形態では、本願発明で使用される基準マーカーは、０．５〜２センチメートル（ｃｍ）の範囲の直径を有する球体である。別の実施形態では、ピンポイントサイズのレーザービームが、基準マーカーとして使用される。これは、光学追跡装置またはカメラの視界内にある時には、光学追跡装置またはカメラによって一意に検出可能である為である。基準マーカーは、光学追跡装置によって簡単に検出しうるいかなる材料で形成されてもよい。一実施形態では、基準マーカーは、光、特には赤外光を反射または放射する材料から形成される。カメラなどの複数の光学追跡装置は、内視鏡のハンドル部分の基準点の検出に使用される。基準点は、光学追跡装置によって撮影された画像に現れ、内視鏡の座標と光学装置の座標とを関連付ける為の参照点となる。

複数の実施形態において、外部カメラなどの光学追跡装置は、内視鏡施術を受けている患者の上方に配置されるため、カメラは、内視鏡と患者の身体の両方を同じ画像に撮影する。基準マーカーは、内視鏡の少なくとも一部に配置される。したがって、外部カメラは、患者の体と内視鏡上の基準マーカーを表示する画像（一部は視認不可である）を形成する。

本願発明の一実施形態において、電磁的追跡技術が、患者の体内における内視鏡の位置の検出に使用される。当該分野で周知であるが、内視鏡の電磁的な追跡の為に、複数の電磁コイルが内視鏡の１か所以上の部分の周囲に巻回される。コイルは、内視鏡の外部に配置された電磁的追跡装置で検出可能な電磁信号を放射する。一実施形態では、基準マーカーは、追跡装置の座標に対して内視鏡の位置を計測する為に使用される電磁的追跡装置に取り付けられる。

検出システム
本願発明の別の実施形態では、患者の体内における内視鏡の位置は、数か所で内視鏡の挿入チューブの方向を計測するセンサーによって追跡される。複数の実施形態において、電子光学的または機械的方法によって挿入チューブの屈曲やねじりを計測する加速度計や、ジャイロスコープ、磁力計（電子コンパス）およびストライプ（stripes）などのセンサーが使用される。別の実施形態では、内視鏡は、患者の体管腔内で内視鏡が移動した距離に関するリアルタイムの情報を提供すべく挿入チューブに沿って一体的に配置されたセンサーを備える。

一実施形態において、複数のセンサーは、内視鏡の長尺状シャフトまたは挿入チューブに沿って配置される。各センサーは、挿入チューブに沿って、遠位端からの距離等の位置に従って、固有の識別子、コード、標識、またはその他の表示を備える。別の実施形態では、各識別子は、センサーに固有のものではないが、センサーが位置する特定の位置または距離を表示するものである。いくつかの異なる種類のセンサーが使用され、限定ではないが、これには誘導センサー、容量センサー、容量変位センサー、光電子センサー、磁気センサー、および赤外センサーなどが含まれる。一実施形態では、深度センサーが、内視鏡が挿入される身体の入口に配置されて内視鏡と共に使用される主制御ユニットと通信する。いくつかの実施形態では、センサーの行列が使用されるため、距離の読み取りに関して連続性が達成される。いくつかの実施形態では、接触センサーが使用される。接触センサーが挿入チューブ上に一定の間隔で配置される場合には、出力を示す接触センサーの数は、体管腔内で挿入チューブが移動した深さを表す。

外科医に対して、患者の体内に挿入されたチューブの距離を表示するために、挿入チューブが数字やマークをその上に備えることは周知である。別の実施形態では、ＣＣＤやＣＭＯＳなどの画像化装置は、体外で視認可能な挿入チューブのマークの画像を撮影するために、患者の体外で、内視鏡の挿入チューブの入口近傍に配置され、患者の体内の挿入チューブの距離を提供する。

さらに別の実施形態では、深度は、外科医がチューブを把持することに応答するセンサーを使用して計測される。センサーは、挿入チューブのほぼ全長にわたって配置され、各センサーは、挿入チューブの長軸に沿ってその位置を示す固有の識別子、コード、標識、または表示物を備える。患者の体内において内視鏡の先端部の位置または距離を同定する方法とシステムは、２０１４年１０月２日付の米国特許出願第１４／５０５，３８７号明細書に「一体型センサーを備える内視鏡」として開示されており、ここで引用することによりその全てを援用する。上述したように、内視鏡の座標系において内視鏡の位置や姿勢を決定するために、様々な方法が使用される。

幾何学的配置の決定
内視鏡の３次元座標は、屈曲行列を用いて積分することにより計算された方向から再構成することができる。屈曲行列は、内視鏡の屈曲についての計測値を提供する。内視鏡の３次元座標は、屈曲行列によって与えられる屈曲情報から再構成することができる。ある実施形態では、内視鏡の座標系と光学追跡装置の座標系の両方において、２つの座標を一致させる為に既知の座標を有する基準マーカーが用いられる。

一実施形態では、３次元内視鏡モデルは、光学追跡装置またはカメラによって２次元平面に投射される。光学追跡装置は、本願発明の実施形態に従って、カメラ座標に対して基準マーカーを撮影し、撮影した基準マーカーを内視鏡でスキャンした結腸などのヒトの臓器モデルに合わせる。患者の臓器のフレームまたはモデル内部で撮影された基準マーカーを検出する為に、物体検出アルゴリズムが使用される。一実施形態では、検出された基準マーカーは、基準マーカー周囲の円、または、境界（この場合は、オレンジ色）で表示される。

内視鏡の座標から光学追跡装置の座標に基準マーカーを変換する変換方法は、光学追跡装置の特性に依存する。光学追跡装置が、立体写真撮影用に較正されたカメラを２台備える場合には、これらのカメラが、三角測量によって、それぞれの座標系において基準物の３次元空間内における位置を計算する。既知の基準マーカーである３次元構造を持つ３次元の点の変換は、点間の平均距離を最小にする変換を計算するホーンアルゴリズム（Horn’s ａlgorithm）などの点クラウドレジストレーションアルゴリズム（point-cloud registration algorism）で計算することができる。しかしながら、光学追跡装置が、１台のカメラからなる場合には、変換は、ＥＰｎＰ、ＤＬＴ、ＰＯＳＳＩＴなどのＰｎＰ問題を解くアルゴリズムで計算することができる。本技術分野では周知であるが、ＰｎＰ問題は、任意の座標系において既知の位置を有する一群の３次元の点を比較し、カメラでそれらの２次元投射を行うことによってカメラの位置を決定しようとするものである。

一実施形態では、患者の内部臓器のフレームまたはモデル内で撮影された基準マーカーを検出する為に、「ホーン変換（Hough Transform）」などの物体検出アルゴリズムが使用される。いくつかの実施形態では、別の物体検出アルゴリズムも使用される。ホーン変換は、画像内のパラメトリック形状の検出に一般的に使用される。例えば、球体の検出に使用される。アルゴリズムは、まず形状のパラメトリックの任意の組み合わせに一致するピクセル数を計算し、その後、計算した行列に対する閾値を計算する。

別の実施形態では、患者の体管腔内で内視鏡が移動した距離を求める為に、電子光学的または機械的方法によって挿入チューブの屈曲やねじりを計測する為に、内視鏡の挿入チューブに沿って配置された加速度計、ジャイロスコープ、磁力計（電子コンパス）、ストライプなどのセンサーから得られたデータが使用される。一実施形態では、患者の体管腔内で内視鏡が移動した距離は、内視鏡の長尺状シャフトまたは挿入チューブに沿って配置された誘導センサーや、容量センサー、容量変位センサー、光電子センサー、磁気センサー、深度センサー、赤外線センサー、接触センサーなどのセンサーから得られたデータから得られる。各センサーの固有の識別子により、センサーが位置する具体的な位置（挿入チューブの遠位端に対する位置）または距離についての情報が提供され、患者の臓器の内部における内視鏡の幾何学的配置が与えられる。

画像の投影
複数の実施形態において、基準マーカーとセンサーとを用いて決定された内視鏡の方向は、カメラ座標系に変換されて、患者の位置、サイズ、カメラの相対的位置に基づいて縮尺が調節されて患者の上に投影される。

一実施形態では、撮影された基準マーカーは、患者の内部臓器の画像上に投射される。撮影された基準マーカーを表示する内部臓器の３次元画像は、計算機ソフトウェアを用いて得られる。別の実施形態では、内視鏡に対応する撮影された基準マーカーは、内視鏡の画像上に投射される。撮影された基準マーカーを表示する内視鏡の３次元画像は、計算機ソフトウェアを用いて得られる。別の実施形態では、装置を操作する外科医が内部臓器における内視鏡の位置を明確に特定することができるように、基準マーカーを含む内部臓器の画像と、基準マーカーを含む内視鏡の画像とは、共に表示される。

一実施形態では、患者の体の上に、スキャンされた患者の臓器の仮想モデルを投影し、患者の体内における内視鏡の位置を直接示す為に、内視鏡の制御ユニットに接続された投影機が使用される。一実施形態では、投影機は、内視鏡と患者の座標系において内視鏡と患者の位置に関連付けて内視鏡の位置を投影するように較正される。較正は、投影機と患者から発せられる光線の方向等の投影機の内部パラメータを提供する。内部パラメータを使用することにより、投影機の正確な照明パターンが計算され、その結果、患者の上に患者の体内における内視鏡の位置の仮想モデル（ホログラフィック）のリアルタイム投影が可能になる。

図１Ｂは、上述した光学追跡装置と基準マーカーが使用可能な内視鏡システム１３０と手術室に配置された関連インターフェイスユニット１３２の配置を示したものである。患者１３４は、ベッド１３６の上に支持され、外科医１３８は、内視鏡施術において内視鏡システム１３０の内視鏡部分１４０を使用している。内視鏡１４０は、ユーティリティケーブル１４４により主制御部１４２に接続されている。複数の基準マーカー１４６が、内視鏡１４０の上に配置される。光学追跡装置または外部カメラ１４８は、患者の上方に設置され、カメラ１４８は、外部ディスプレイ装置１５２に表示された同一画像に、内視鏡１４０と基準マーカー１４６と患者の体１３４とを撮影する。別の実施形態では、１台以上の光学追跡装置、または外部カメラ１４８が患者１３４の上方に設置される。

したがって、光学追跡装置、この場合は、外部カメラが内視鏡施術を受けている患者の上方に設置される為、同一画像に内視鏡と患者の体の両方を撮影することができる。基準マーカーは、内視鏡の少なくとも一部に配置される。したがって、外部カメラは、患者の体と内視鏡の基準マーカーとを表示する画像（一部は視認不可である）を形成する。図３で詳細に説明するが、患者の内部臓器のフレームまたはモデル内において、撮影された基準マーカーを検出するために「ホーン変換」などの物体検出アルゴリズムが使用される。複数の実施形態では、外部カメラのパラメーターの決定後に（較正により）、患者の臓器（例えば結腸）の仮想モデルは、外部カメラで撮影された患者の画像の上に表示される。一実施形態では、内視鏡の位置を示す患者の臓器の仮想モデルは、較正された投影機を用いて患者の体の上に直接的に投影される。

内視鏡１４０は、内視鏡の先端部１４０に収容された１、２、３台またはそれ以上の台数のカメラを用いて（同時の場合もある）１つ以上の内視鏡の画像を提供する。主制御装置１４２は、少なくとも１つのディスプレイスクリーン１５４（図示せず）または複数のディスプレイスクリーン、例えば、３台のディスプレイスクリーン、１５４ａ，１５４ｂ，１５４ｃにそれぞれ接続され、各ディスプレイスクリーンは、内視鏡システム１３０によって提供された３枚の内視鏡画像に対応する画像を表示する。ディスプレイスクリーン１５４は、外科医１３８に対面して配置され、外科医１３８がスクリーンディスプレイを見て、スクリーンに対する視線が妨害されることなく内視鏡施術を実施しうるように上昇される場合もある。一実施形態では、内視鏡の位置と姿勢は、外部座標系に対して決定される。この実施形態では、基準マーカーは、外部座標追跡システムに取り付けられる。

図１Ｃは、図１Ｂに示した内視鏡施術を受けている患者の近傍に配置された基準マーカーを備える電磁場発生装置を示している。基準マーカー１５６を備える電磁場発生装置は、患者１３４のごく近傍、例えば、患者のベッド１３６の上または下または患者の近くに位置するスタンド（図示せず）に配置される。

図１Ｄは、本願発明にかかる実施形態に従って、図１Ｂに示した内視鏡施術を受けている患者の体内における内視鏡の位置が、投影機を用いて患者の体の上に直接的に投影されている様子を示したものである。制御装置１４２に接続された投影機１５８を用いて、患者の体内における内視鏡の位置を示す患者の結腸の仮想モデル１６０が患者の体１３４の上に直接的に投影されている。一実施形態では、投影機１５８が較正され、較正により、投影機１５８は、内視鏡の座標系と患者の座標系において内視鏡１４０と患者１３４の位置に関連付けてその位置を伝達する。較正は、投影機１５８と患者１３４から発せられた光線の方向等の、投影機１５８の内部パラメーターを提供する。内部パラメーターを用いることによって、投影機１５８の正確な照明パターンが計算され、患者の体内における内視鏡１４０の位置の仮想モデル１６０（ホログラフィー的）を患者１３４の上にリアルタイムで投影することができる。

別の実施形態によれば、内視鏡は、患者の体管腔内で内視鏡が移動した距離に関するリアルタイムの情報を提供するために、挿入チューブに沿って一体的に配置されたセンサーを備える。一実施形態では、図２に示したように複数のセンサー２０１５が内視鏡の長尺シャフトまたは挿入チューブ２３０６に沿って配置される。各センサーは、挿入チューブ２３０６に沿ってその位置に従って（遠位端からの距離など）、固有の識別子、コード、標識、またはその他の表示物を備える。したがって、例えば、以下に限定されないが、センサーは、チューブ２３０６の遠位端部から、１，２，３，４，５，６，７，８，９，１０，１１，１２，１３，１４，１５，１６，１７，１８，１９，２０ｃｍの距離、またはこの範囲内の任意の間隔で配置される。隣接するセンサーは、類似または異なる間隔をあけて配置され、第１センサーにプログラムされた識別子とは異なる識別子を有する。別の実施形態では、各識別子は、センサーに対して固有のものではないが、センサーが配置されている特定の位置または距離を表示するものである。したがって、一実施形態では、複数のセンサーは、挿入チューブ２３０６の長さに沿って１０ｃｍ間隔で配置され、各センサー２０１５は、異なる識別子を有し、各識別子は、センサーが設置されている距離の増分を表示する。

加えて、深度センサーが、内視鏡が挿入される体の入口部に配置され、内視鏡とともに使用される主制御ユニットと通信する。限定例ではないが、患者の結腸２０２２に対して実施される内視鏡施術について説明する。深部センサー２０２０は、体外２０２４であって、内視鏡の結腸２０２２内への挿入場所である直腸２０２６の近傍に配置さる。施術では、深度センサー２０２０は、入口部の最近傍にあるセンサー２０１６と並列して体外に配置される。一実施形態において、各センサー２０１５，２０１６は、その位置にしたがって読み取られるべく予めプログラムされているため、１０ｃｍセンサーは、２０ｃｍセンサーとは異なる出力を伝達する。一実施形態では、深度センサー２０２０の出力は制御装置または主制御ユニットに伝達され、主制御ユニットは、内視鏡の遠位端が移動された距離に関する表示を与える。

図３は、本願発明に従って、内視鏡施術中に患者の内部臓器における内視鏡の位置を追跡する第１の方法を示したフローチャートである。工程３０２では、患者の体内における内視鏡の参照位置が、内視鏡の座標系（内部）または外部座標系のいずれかで決定される。

一実施形態において、内視鏡の座標系を用いて患者の体内における内視鏡の位置を決定するために基準マーカーが内視鏡のハンドルに配置される。
別の実施形態では、患者の体内における内視鏡の位置は、屈曲行列、電磁的追跡、または上述した１つ以上のセンサー等を使用することにより、外部座標系によって決定しうる。このような実施形態では、基準マーカーは、外部参照座標追跡システムに配置される。

工程３０４では、内視鏡のハンドルまたは外部座標追跡システムのいずれかに配置された基準マーカーは、光学追跡装置によって撮影される。一実施形態では、光学追跡装置はカメラであり、カメラは、カメラ座標に対して基準マーカーを撮影する。基準マーカー内視鏡に堅固に取り付けられている場合には、基準マーカーは、内視鏡の座標系に関連付けて記述することが可能である。

図４Ａは、本願発明の実施形態にかかる基準マーカーを備える内視鏡の３次元モデルを示している。図４Ｂは、光学追跡装置またはカメラで２次元平面に投射された図４Ａに示した内視鏡の３次元モデルを示している。図示のように、基準マーカー４０２は、光学追跡装置（図示せず）によって、内視鏡４０４について、画像に撮影される。一実施形態では、光学追跡装置はカメラであり、カメラは、カメラ座標に対して基準マーカー４０２を撮影する。したがって、図４Ｂは、本願発明にかかる実施形態に従って、図４Ａに示された基準マーカーをヒトの結腸モデルに合わせて示した図である。患者の結腸のフレームまたはモデル４０６内で撮影された基準マーカー４０２を検出するために、物体検出アルゴリズムが使用される。基準マーカー４０２周囲の円または境界（この場合は、オレンジ色）は、基準マーカー４０２が、下記で図３の工程３０６について説明する基準検出アルゴリズムで検出され（かつマークされ）たことを表わしている。

工程３０６では、内視鏡の座標から光学追跡装置の座標への基準マーカーの変換が行われる。変換方法は、光学追跡装置の特性に依存する。光学追跡装置が立体写真撮影用に較正されたカメラを２台備える場合には、これらのカメラは、三角測量によって、それぞれの座標系において基準物の３次元空間内における位置を計算する。しかしながら、光学追跡装置が１台のカメラからなる場合には、変換は、ＥＰｎＰ、ＤＬＴ，ＰＯＳＳＩＴなどのＰｎＰ問題を解く任意のアルゴリズムで計算される。

工程３０８では、撮影された基準マーカーが患者の内部臓器の画像に投射される。撮影された基準マーカーを表示する内部臓器の３次元画像は、計算機ソフトウェアを用いて得られる。工程３１０では、内視鏡に対応する撮影された基準マーカーが内視鏡の画像に投射される。撮影された基準マーカーを表示する内視鏡の３次元画像は、図４Ｃに示した計算機ソフトウェアを用いて得られる。図４Ｃは、本願発明の実施形態に従って、同一の光学追跡装置またはカメラで撮影された画像の上に、投射された図４Ａの基準マーカーを表示している。図４Ａに示された基準マーカー４０２は、図示の内視鏡４０４の画像に投射される。一実施形態では、カメラの位置の正確性（図示せず）は、カメラの再投射エラーを計算することによって推定することができる。

工程３１２では、操作する外科医が、臓器内における内視鏡の位置を明確に特定することができるように、基準マーカーを含む内部臓器の画像と基準マーカーを含む内視鏡の画像の両方が共に表示される。一実施形態では、較正によって、外部カメラのパラメーターを決定したあと、内視鏡の位置を表示した患者の結腸の仮想モデルが、外部カメラで撮影された患者の画像に対して増強される。

複数の実施形態では、患者の画像は、計算機モニターディスプレイを用いることで内視鏡の一部を示す患者の結腸の仮想モデルで増強される。別の実施形態では、シースルーガラスなどのディスプレイ法が使用される。別の実施形態では、増強された画像は、観察者の網膜上にも表示される。

上述した例は、本願発明にかかるシステムに関する多くの用途の単なる例である。本願発明にかかる数例の実施形態が開示されているが、本願発明は、発明の趣旨および範囲を逸脱することなく、その他の多くの具体的な形式によって具現化可能であると解さなければならない。したがって、ここに示した例及び実施形態は例示であって限定ではなく、本願発明は、添付する請求項の範囲内において変更することが可能である。

Claims (26)

1. 内視鏡ハンドルと患者の胃腸管に挿入される内視鏡本体とを備える内視鏡システムであって、システムは、
   前記内視鏡ハンドルに配置された複数の方位マーカーと、前記方位マーカーが前記内視鏡ハンドルの外周面に配置されていることと、
   前記内視鏡本体の外部表面に沿って長軸方向の異なる位置に配置された複数のセンサーと、前記複数のセンサーの各々が第１方位データを形成することと、
   患者の体外に配置されて前記複数の方位マーカーを検出し、かつ、第２方位データを形成する１つ以上のカメラと、
   前記第１方位データと前記第２方位データとを受信して患者の胃腸管内における前記内視鏡本体の位置を示すデータを形成する制御装置と、
   からなる内視鏡システム。
2. 前記内視鏡本体の位置を示すデータは、患者の胃腸管内に挿入された内視鏡本体の全体の位置を含む、請求項１に記載の内視鏡システム。
3. 前記センサーは、前記内視鏡本体の長さに沿って長軸方向に配置され、かつ、少なくとも０．１ｍｍの予め決められた間隔で配置される、請求項１に記載の内視鏡システム。
4. 制御装置は、前記内視鏡本体の位置を示すデータに基づいて前記内視鏡本体の画像を形成する、請求項１に記載の内視鏡システム。
5. 前記制御装置は、患者の位置を定義する座標系に対して内視鏡の方向の変換を実行し、かつ、前記画像に前記変換を適用することによって、前記画像の方向を合わせる、請求項４に記載の内視鏡システム。
6. 前記制御装置は、方向を合わせた前記内視鏡本体の画像の重ね合わせ画像を形成するために、方向を合わせた前記画像を患者の胃腸管の一部の画像に重ね合わせる、請求項５に記載の内視鏡システム。
7. 前記第１方位データは、内視鏡の座標系に対する前記内視鏡本体の位置を示す、請求項１に記載の内視鏡システム。
8. 前記第２方位データは、患者の座標系に対する前記内視鏡ハンドルの位置を示す、請求項１に記載の内視鏡システム。
9. 前記制御装置から、方向を合わせて重ね合わせた前記内視鏡本体の画像を受信して、患者の上にその画像を投影する投影機をさらに備える、請求項６に記載の内視鏡システム。
10. 前記複数の方位マーカーは、前記内視鏡のハンドルに配置された球体からなり、前記球体の各々は、０．５〜２ｃｍの範囲の直径を有する、請求項１に記載の内視鏡システム。
11. 前記複数の方位マーカーは、ピンポイントサイズのレーザービームからなる、請求項１に記載の内視鏡システム。
12. 前記複数の方位マーカーは、赤外光を反射または放出する材料から形成される、請求項１に記載の内視鏡システム。
13. 前記複数のセンサーは、電子光学的方法と機械的方法とのうちのいずれか一方によって前記内視鏡の挿入チューブの屈曲とねじりを計測する加速度計、ジャイロスコープ、磁力計、ストライプのうちの１つ以上からなる、請求項１に記載の内視鏡システム。
14. 前記複数のセンサーは、前記内視鏡の長尺シャフトおよび挿入チューブのうちのいずれか一方に沿って配置された誘導センサー、容量センサー、容量変位センサー、光電子センサー、磁気センサー、および赤外線センサーのうちの１つ以上からなり、前記センサーの各々は、前記挿入チューブに沿ったセンサーの位置に基づく固有の識別子に対応している、請求項１に記載の内視鏡システム。
15. 前記内視鏡本体の外部表面に沿って長軸方向の異なる位置に配置されて距離マーカーを検出して距離に関するデータを形成する距離センサーをさらに備え、前記距離センサーは、患者の胃腸管内において挿入チューブが移動した距離を提供する深度センサーと接触センサーのうちの１つ以上からなる、請求項１に記載の内視鏡システム。
16. 立体写真撮影用に較正された２台のカメラが、三角測量により、カメラ座標に基準物の３次元空間の位置からなる第２方位データを生成する、請求項１に記載の内視鏡システム。
17. 内視鏡施術中に患者の臓器内における内視鏡の位置を追跡する方法であって、方法は、
    前記内視鏡の座標系において、臓器内における前記内視鏡の位置を決定することと、
    外部光学追跡装置によって複数の基準マーカーを画像内に撮影することと、
    前記内視鏡の座標系から前記光学追跡装置の座標系に撮影された前記基準マーカーを変換することと、
    患者の臓器のモデル上で撮影された前記基準マーカーを検出することと、
    前記基準マーカーを含む患者の臓器の画像に前記基準マーカーを含む内視鏡の画像を投射することと、
    からなる方法。
18. 前期外部光学追跡装置は、内視鏡施術を実行する前記内視鏡の上方に配置されたカメラである、請求項１７に記載の方法。
19. 撮影された前記基準マーカーは、物体検出アルゴリズムを用いて患者の臓器のモデル上で検出される、請求項１７に記載の方法。
20. 撮影された前記基準マーカーは、ホーン変換を用いて患者の臓器のモデル上に検出される、請求項１７に記載の方法。
21. 較正された投影機を用いて患者の体の上に直接的に前記内視鏡の位置を投影することをさらに含む、請求項１７に記載の方法。
22. 内視鏡施術中に患者の臓器内における内視鏡の位置を追跡するための内視鏡システムであって、システムは、複数の基準マーカーと、前記内視鏡の外部に配置された光学追跡装置と、前記光学追跡装置で撮影された画像を少なくとも処理するための計算ユニットとを備え、前記光学追跡装置は、内視鏡施術中に前記複数の基準マーカーと前記内視鏡を１枚の画像内に撮影し、前記計算ユニットは、撮影された前記基準マーカーを前記内視鏡の座標系から前記光学追跡装置の座標系に変換し、かつ、前記基準マーカーを含む内視鏡の前記画像を基準マーカーを含む患者の臓器の画像に投射する、ことからなるシステム。
23. 前期外部光学追跡装置は、内視鏡施術を実行する前記内視鏡の上方に配置されたカメラである、請求項２２に記載のシステム。
24. 撮影された前記基準マーカーは、対象物検出アルゴリズムを用いて内視鏡の前記座標系から光学追跡装置の前記座標系に変換される、請求項２２に記載のシステム。
25. 撮影された前記基準マーカーは、ホーン変換を用いて内視鏡の前記座標系から光学追跡装置の前記座標系に変換される、請求項２２に記載のシステム。
26. 前記内視鏡の位置を患者の体の上に直接的に投影するための較正された投影機をさらに備える、請求項２２に記載のシステム。