JP6949959B2 - 管状挿入装置及び、その管状挿入装置による操作支援方法 - Google Patents

Description

本発明は、可撓管部を被検体に挿入する管状装置を備えた管状挿入装置及び、その管状装置による操作支援方法に関する。

内視鏡などの、可撓管部（挿入部）を備えた管状装置において、可撓管部の挿入支援を行うための装置や方法が提案されている。

例えば、米国特許第９，０８６，３４０号には、可撓管部に加わる外力に関する複数の外力情報を含む操作支援情報を取得する管状挿入装置が開示されている。

米国特許第９，０８６，３４０号に開示された管状挿入装置では、好ましくない挿入状況が発生したとき又は発生しそうなとき、その原因が操作支援情報として呈示され得るだけであり、その状況からの具体的な回避操作を呈示することができない。

そこで、本発明は、挿入状況に応じた的確な操作情報を操作支援情報として出力可能な管状挿入装置及び操作支援方法を提供することを目的とする。

本発明の第１の態様によれば、管状挿入装置は、可撓管部を被検体に挿入する管状装置と、前記被検体内での前記可撓管部の配置状態を検知するセンサと、前記センサにより検知された前記配置状態と、前記可撓管部の各配置状態に応じた前記管状装置の操作に関わる蓄積データと、に基づいて、機械学習モデルにより、前記管状装置の次に行うべき操作に関わる情報を次操作情報として演算して出力する予測演算部と、前記センサの出力により検知された前記配置状態に基づいて前記可撓管部に働く外力が小さくなる解除方法を生成するシミュレーションモデルを備え、前記センサにより検知された前記配置状態と前記蓄積データの乖離に基づいて前記機械学習モデルの有無を判定し、前記機械学習モデルが無い場合には、前記予測演算部が演算した前記次操作情報に代わって、前記シミュレーションモデルによって前記解除方法を生成し、該解除方法を代替情報として出力するバックアップ処理部と、前記予測演算部が演算した前記次操作情報又は前記代替情報を出力する出力回路と、を具備する。
また、本発明の第２の態様によれば、管状挿入装置による操作支援方法は、可撓管部を被検体に挿入する管状装置と、前記被検体内での前記可撓管部の配置状態を検知するセンサと、前記センサにより検知された前記配置状態と、前記可撓管部の各配置状態に応じた前記管状装置の操作に関わる蓄積データと、に基づいて、次操作情報を演算する機械学習モデル及び、前記センサの出力により検知された前記配置状態に基づいて前記可撓管部と前記被検体の接触箇所に働く力量が小さくなる解除方法を生成するシミュレーションモデルを備える制御装置と、表示装置とを備える管状挿入装置による操作支援方法であって、前記センサにより検知された前記配置状態と前記蓄積データの乖離に基づいて前記機械学習モデルの有無を判定し、前記機械学習モデルが無い場合には、前記次操作情報に代わって、前記シミュレーションモデルによって前記解除方法を生成し、該解除方法を代替情報としてバックアップし、前記演算した前記次操作情報又は前記代替情報を操作支援情報として表示部に提示する、ことを具備する。

本発明によれば、現在の可撓管部の配置状態から最適な操作支援情報を取得できるため、挿入状況に応じた的確な操作情報を操作支援情報として出力可能な管状挿入装置及び操作支援方法を提供することができる。

図１は、本発明の第１実施形態に係る管状挿入装置の一例を概略的に示す図である。 図２は、被検体である大腸の各部位を概略的に示す解剖図である。 図３は、管状挿入装置の予測演算部の構成を説明するための図である。 図４は、ニューラルネットワークモデルを示す図である。 図５は、第１実施形態による挿入支援制御フローの一例を示す図である。 図６は、本発明の第２実施形態に係る管状挿入装置の予測演算部における複数の機械学習モデルを説明するための図である。 図７は、第２実施形態による挿入支援制御フローの一例を示す図である。 図８は、予測演算部が有する操作妥当性検証部の機能を説明するための図である。 図９は、本発明の第３実施形態に係る管状挿入装置の予測演算部におけるシミュレーションモデルを説明するための図である。 図１０は、Ｎ字形状及びループ解除時の形状を示す図である。 図１１は、図９のシミュレーションモデルをニューラルネットワークにより構築した場合の入出力関係を示す図である。 図１２は、第３実施形態による挿入支援制御フローの一例を示す図である。

実施形態

以下、本発明の各実施形態について図面を参照して説明する。以下では、本発明の管状挿入装置の一例として、大腸内視鏡を含む内視鏡装置を挙げて説明する。

［第１実施形態］
図１は、内視鏡装置１の一例を概略的に示す図である。内視鏡装置１は、大腸内視鏡１０と、ファイバセンサ２０と、制御装置３０と、表示装置４０と、を有している。

大腸内視鏡１０は、挿入部１１を被検体である大腸に挿入する管状装置である。ここで、まず、被検体である大腸の各部位について説明する。図２は、大腸２００の各部位を概略的に示す解剖図である。大腸２００は、肛門３００につながっている直腸２１０と、直腸２１０につながっている結腸２２０と、結腸２２０につながっている盲腸２３０とからなる。直腸２１０は、肛門側から順に、下部直腸２１１と、上部直腸２１２と、直腸Ｓ状部２１３とからなる。結腸２２０は、直腸２１０側から順に、Ｓ状結腸２２１と、下行結腸２２２と、横行結腸２２３と、上行結腸２２４とからなる。Ｓ状結腸２２１の最上部は、Ｓ状結腸頂上部（いわゆるＳ−ｔｏｐ）２２５である。Ｓ状結腸２２１と下行結腸２２２との境界部は、Ｓ状結腸下行結腸移行部（いわゆるＳＤ−Ｊｕｎｃｔｉｏｎ（ＳＤ−Ｊ））２２６である。下行結腸２２２と横行結腸２２３との境界部は、脾彎曲部（ＳＦ）２２７である。横行結腸２２３と上行結腸２２４との境界部は、肝彎曲部（ＨＦ）２２８である。Ｓ−ｔｏｐ２２５、ＳＤ−Ｊ２２６、ＳＦ２２７及びＨＦ２２８は、結腸２２０における屈曲部である。直腸２１０の下部直腸２１１及び上部直腸２１２、結腸２２０の下行結腸２２２及び上行結腸２２４は、固定腸管である。一方、直腸２１０の直腸Ｓ状部２１３、結腸２２０のＳ状結腸２２１及び横行結腸２２３、盲腸２３０は、可動腸管である。すなわち、直腸Ｓ状部２１３、Ｓ状結腸２２１、横行結腸２２３及び盲腸２３０は、腹部内で固定されておらず、可動性を有している。

大腸内視鏡１０は、このような大腸２００に挿入される挿入部１１に加えて、この挿入部１１の基端側に設けられた操作部１２と、この操作部１２と制御装置３０とを接続するユニバーサルコード１３と、を有している。

挿入部１１は、特に図示はしていないが、先端硬質部と、この先端硬質部の基端側に設けられた能動湾曲部と、この湾曲部の基端側に設けられた受動湾曲部と、を有している。先端硬質部は、図示はしないが、照明レンズを含む照明光学系及び対物レンズを含む観察光学系、撮像素子、等を含む。能動湾曲部は、可撓性を有し、操作部１２の操作により湾曲する部分であり、その湾曲形状を能動的に変更可能である。受動湾曲部は、可撓性を有する細長い管状部分であり、受動的に湾曲する。

なお、挿入部１１の全長において先端硬質部は極短い部分であるため、以下では、特に明示しない限り、「挿入部１１」は、能動湾曲部及び受動湾曲部を指すものとする。すなわち、「挿入部」は、特に明示しない限り、管状装置における湾曲可能な可撓管部とほぼ同義に用いられる。ファイバセンサ２０が検出する「挿入部１１の配置状態」は、能動湾曲部及び受動湾曲部の配置状態を指しており、また、「挿入部１１の先端」は、能動湾曲部の先端とほぼ同義に用いられる。

操作部１２には、能動湾曲部の湾曲操作のために用いられるアングルノブ１４ＵＤ及び１４ＲＬと、送気・送水・吸引操作を含む各種操作のために用いられる１以上のボタン（図示せず）と、が設けられている。術者がアングルノブ１４ＵＤを操作することにより、能動湾曲部は、撮像素子によって取得される内視鏡画像に関して上下方向となる方向に湾曲し、術者がアングルノブ１４ＲＬを操作することにより、能動湾曲部は、内視鏡画像に関して左右方向となる方向に湾曲する。また、操作部１２には、制御装置３０の設定により内視鏡画像の静止・記録、フォーカス切り替えなどの機能が割り当てられる１以上のスイッチ（図示せず）も設けられている。

ファイバセンサ２０は、光ファイバ２１の曲げによる光伝達量の損失を利用した形状センサである。ファイバセンサ２０は、光ファイバ２１に加えて、光源２２と、受光部２３と、湾曲量演算回路２４と、形状演算回路２５と、を有する。ここで、光源２２、受光部２３、湾曲量演算回路２４及び形状演算回路２５は、制御装置３０の内部に配置される。勿論、制御装置３０とは別体の装置として構成しても構わない。

光源２２は、複数の波長を有する光を出射する。この光源２２は、観察及び撮像のための照明光を出射する光源装置の光源とは別体である。なお、図１では、この光源装置は省略されている。

この光源２２から出射された光を導光する光ファイバ２１は、可撓性を有し、光源２２から、ユニバーサルコード１３、操作部１２及び挿入部１１の内部を延びている。この光ファイバ２１の挿入部１１に相当する部分には、複数の被検出部２６が設けられている。１本の光ファイバ２１の長手軸方向において互いに異なる位置に複数の被検出部２６が配置されると共に、その１本の光ファイバ２１の長手軸方向において同じ位置または近傍の位置であって長手軸方向の軸周り方向において互いに異なる位置に複数の被検出部２６が配置される。あるいは、１本の光ファイバ２１に１つの被検出部２６が用いられても良い。この場合は、光ファイバ２１の長手軸方向において他の光ファイバ２１の被検出部２６とは異なる位置に、当該光ファイバ２１の被検出部２６が配置されるように、複数本の光ファイバ２１が配置される。また、光ファイバ２１の長手軸方向において同じ位置または近傍の位置且つ長手軸方向の軸周り方向において互いに異なる位置に、複数の被検出部２６が配置されるように、更に複数本の光ファイバ２１が配置される。このようなに、光ファイバ２１の長手軸方向において同じ位置または近傍の位置で且つ長手軸方向の軸周り方向において互いに異なる位置に複数の被検出部２６を配置することで、湾曲量だけでなく湾曲の方向も検出可能となる。

すなわち、被検出部２６は、光ファイバ２１の光学特性、例えば所定の波長の光の光伝達量を、その湾曲量に応じて変化させるものである。複数の被検出部２６は、互いに、この所定の波長が異なっている。挿入部１１が湾曲すると、この湾曲に応じて光ファイバ２１が湾曲し、したがって、挿入部１１の湾曲量に応じて、光ファイバ２１の光伝達量が変化する。この光伝達量の変化の情報を含む光信号は、受光部２３に受光される。受光部２３は、例えば、分光器で構成され、光信号の各波長成分を独立して検出する。受光部２３は、カラーフィルタのような分光のための素子と、フォトダイオードのような受光素子と、を有しても良い。受光部２３は、光信号を状態情報として湾曲量演算回路２４に出力する。

なお、光ファイバ２１は、一端が光源２２に光学的に接続され、挿入部１１の先端部で、長手軸方向のほぼ中央が折り返されて、他端が受光部２３に光学的に接続されるように配置される。また、図示していないが、光分岐部を用いて、光ファイバ２１の一端を光源２２と受光部２３との両方に光学的に接続し、挿入部１１の先端部に位置する光ファイバ２１の他端は反射部に光学的に接続するように構成しても良い。この場合、光分岐部は、光源２２から出射された光を光ファイバ２１に導き、また、反射部によって反射されて光ファイバ２１によって導かれた戻り光を受光部２３に導く。つまり光は、光源２２、光分岐部、光ファイバ２１、反射部、光ファイバ２１、光分岐部、受光部２３との順に進行する。ここで、光分岐部は、例えば光カプラまたはハーフミラーを有する。

湾曲量演算回路２４は、受光部２３からの状態情報、つまり各被検出部２６の位置での挿入部１１の湾曲状態に応じた光量の変化より、各位置の湾曲量を演算する。湾曲量演算回路２４は、その演算結果を形状演算回路２５に出力する。

形状演算回路２５は、湾曲量演算回路２４にて演算された湾曲量を、形状に幾何学的に変換することにより、挿入部１１の形状を算出する。形状演算回路２５は、算出した挿入部１１の形状、つまり、大腸２００内での挿入部１１の配置状態を、予測演算部３１に入力する。

なお、湾曲量演算回路２４及び形状演算回路２５は、ＣＰＵなどのプロセッサで構成されて良い。この場合、例えば、プロセッサをそれらの回路２４及び２５として機能させるための各種プログラムを不図示の内部メモリあるいは外部メモリに準備しておき、そのプログラムをプロセッサが実行することで、プロセッサがそれら回路２４及び２５としての機能を実施する。あるいは、回路２４及び２５は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを含むハードウエア回路によって構成されて良い。

このようにして、ファイバセンサ２０は、大腸２００内での挿入部１１の配置状態、すなわち被検体内での可撓管部の配置状態を検知し、その検知した可撓管部の配置状態を予測演算部３１に入力する。

なお、被検体である大腸２００内での可撓管部である挿入部１１の配置状態を検知するセンサは、このようなファイバセンサ２０に限定されるものではない。センサは、挿入部１１の配置状態を検出可能なものであれば良い。例えば、センサは、挿入部１１の先端硬質部の前方及び／又は側方を撮像する画像センサ、挿入部１１の空間上の位置を検出する磁気式位置推定センサ、挿入部１１の曲がり具合（そこから形状に直しても可）を検出する光ファイバを利用した湾曲量センサ、挿入部１１と大腸２００の内壁との接触程度を検出する圧力又はひずみセンサ、大腸２００への挿入部１１の挿入量を検出するセンサ、挿入部１１の能動湾曲部を湾曲させるための湾曲操作量、挿入部１１の回転量センサ、挿入部１１の地球に対する向きを検出する重力加速度センサ、挿入部１１及び被検体（被検体である大腸２００を有する人体を含む）の一部あるいは全体を撮像し得る作業風景画像センサ（Ｘ線センサを含み得る）、等々の、何れか１つ又はこれらの組合せによって構成されて良い。

制御装置３０は、上記ファイバセンサ２０の一部を構成する上記の光源２２、受光部２３、湾曲量演算回路２４及び形状演算回路２５に加えて、予測演算部３１と出力回路３２とを有する。また、特に図示はしていないが、大腸内視鏡１０の撮像素子で被写体からの光を変換した電気信号をビデオ信号に変換処理して内視鏡画像を生成する画像処理回路を有する。

予測演算部３１は、ファイバセンサ２０が検知した大腸２００内での挿入部１１の配置状態と、挿入部１１の配置状態に応じた大腸内視鏡１０の操作に関わる蓄積データと、に基づいて、大腸内視鏡１０の次に行うべき操作に関わる情報である次操作情報を演算する。この予測演算部３１は、大容量メモリとＣＰＵなどのプロセッサとで構成される。処理の高速化のためには、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やその他の専用チップを用いることが好ましい。

出力回路３２は、予測演算部３１が演算した結果である次操作情報や、不図示の画像処理回路が生成した内視鏡画像を、表示装置４０に出力して、表示装置４０に表示させる。また、出力回路３２は、予測演算部３１が演算した結果である次操作情報を、表示装置４０に出力して、それを操作支援情報として表示装置４０に表示させる。内視鏡画像と操作支援情報は、表示装置４０の表示画面に別々のウィンドウとして表示され得る。表示装置４０は、液晶ディスプレイなどの一般的なモニタである。なお、内視鏡画像と操作支援情報を表示する表示装置は、それぞれ独立した装置であっても良い。

また、出力回路３２は、特に図示はしていないが、制御装置３０内に設けられた又はネットワーク上に配置された記憶装置に、予測演算部３１の演算結果や内視鏡画像を出力して、そこに保存させることも可能である。また、予測演算部３１が演算した次操作情報を、図示しないスピーカなどの音発生装置に出力して、それをガイド音声や警告音などとして出力させるようにしても良い。

こうして、予測演算部３１が演算した大腸内視鏡１０の次に行うべき操作に関わる情報、つまり、次に大腸内視鏡１０をどのように操作したら良いのかという操作方法が、操作支援情報として大腸内視鏡１０のオペレータに呈示される。そして、オペレータは、その呈示内容にしたがって、アングルノブ１４ＵＤ及び１４ＲＬを操作して挿入部１１の能動湾曲部を湾曲させたり、挿入部１１を押し込む／引き抜く／捩るなどの挿入操作を行ったり、送気・送水・吸引操作を含む各種操作を行ったりすることができる。

次に、上記予測演算部３１について、より詳細に説明する。
予測演算部３１は、機械学習モデル、例えば、図３に示すように、膨大な蓄積データのディープラーニングによるニューラルネットワークモデル３１ＮＮＭを有している。形状演算回路２５から入力される、湾曲量より算出された大腸２００内での挿入部１１の配置状態すなわち挿入部１１全体の形状情報は、このニューラルネットワークモデル３１ＮＮＭへ入力される。

ニューラルネットワークモデルは、図４に示すように、入力層ＩＲ、中間層ＭＲ及び出力層ＯＲを含む複数の層から構成されている。中間層ＭＲは多層構造となっている。ニューラルネットワークモデルでは、入力層ＩＲにおける入力情報と出力層ＯＲにおける出力情報との関係を定義付けるように、ニューラルネットワークの各種パラメータＰＡが決定される。各種パラメータＰＡとは、ニューロンＮＥ間の重み付け関数などであり、この関数が最適になるよう設計された値である。

予測演算部３１を構成するニューラルネットワークモデル３１ＮＮＭにおいては、入力層ＩＲにおける入力情報は、挿入部１１全体の形状情報である。出力層ＯＲにおける出力情報は、次操作情報である。すなわち、ニューラルネットワークモデル３１ＮＮＭは、入力された挿入部１１全体の形状情報から、オペレータが次に行うべき操作、例えば、挿入部１１を押し込む「挿入操作」、挿入部１１を捩る「捩じり操作」、挿入部１１に可撓管部の硬さを変更し得る硬度可変部が設けられている場合には、その硬さを変更する「硬度操作」、アングルノブ１４ＵＤ及び１４ＲＬの操作により挿入部１１の能動湾曲部の湾曲角を変更させる「アングル操作」、被検体である大腸２００を有する人体の体位を変更させる「体位変換指示」、吸気や送気などを行う「吸気、送気操作」、を含む各種操作の何れか１つ又はそれらの組合せを演算する。

このようなニューラルネットワークモデル３１ＮＮＭは、挿入部１１が、大腸２００との接触箇所に働く力が小さく且つ狙いの形状になるような操作方法を予測するために、膨大な蓄積データから構築されている。この蓄積データは、熟練者の操作情報やシミュレーションから得た情報を基に構成されている。

すなわち、ニューラルネットワークモデル３１ＮＮＭを構築する蓄積データは、入力情報と出力情報とを含み、入力情報は、時刻（ｔ）の熟練者の操作による形状情報や形状に関する情報である。出力情報は、熟練者がその次に行った作業の情報である。ここで、その次に行った作業とは、挿入部１１の捩じり操作、押し操作、硬度可変操作、体位変換などの操作情報である。この操作情報は、時刻（ｔ）における形状情報と次の時刻（ｔ＋１）における形状情報との差を見て、その差から挿入部１１に捩じり操作が入ったのか、押し操作が入ったのかを判断し、作成する。なお、ニューラルネットワークモデルでは、時刻（ｔ）と時刻（ｔ＋１）とで、形状に差があるものだけを教示データとして学習させる。

体位変換については、図２に矢印で示すように、横行結腸２２３へ挿入部１１を挿入する際に体位変換すると、同図に白抜き矢印で示すような重力Ｇの関係で、挿入方向が鈍角になるなどのメリットがあるため、行うものである。この体位変換についての情報も、蓄積データとして取得する。

その他、蓄積データつまり学習される教示データとしては、挿入部１１の大腸２００内部及び外部の少なくとも一方での挿入部１１の挿入状態に関わる情報である挿入状態情報に基づいて分析した結果を含む。ここで、挿入状態情報は、挿入部１１の前方及び側方の空間程度、挿入部１１先端の大腸２００への挿入有無、大腸２００内の目的地点方向への挿入具合、挿入部１１の撓みや座屈の程度、挿入部１１の所定ループ形状の形成、所定ループ形状のサイズ、などの少なくとも１つを含む。

また、蓄積データとしての教示データは、被検体自体に関わる情報である被検体情報に基づいて分析した結果を含むこともできる。ここで、被検体情報は、被検体である大腸２００に加えられている力の程度、大腸２００を有する人体の痛みの程度、挿入部１１と大腸２００とのサイズ比較、大腸２００の長さ、癒着や憩室などの特徴形状、手術暦、手術痕、人体の心拍数、人体の動き、穿孔情報、内視鏡の故障や処置具の故障などの少なくとも１つを含む。

また、蓄積データとして教示データは、例えば、上記挿入部１１の所定ループ形状が解除されるまでの間の挿入部１１の可撓管部の接触箇所に働く力である外力を考慮して、この外力が大きな場合は、学習させないようにすることが望ましい。なお、外力情報については、挿入部１１の形状から算出しても良いし、シミュレーションによって算出しても良い。このシミュレーションによって算出する場合には、有限要素法（ＦＥＭ）や機構解析等のシミュレーションより明らかにした上記外力が小さくなる最適な解除方法を学習させるようにしても良い。外力とは、Ｓ−ｔｏｐ２２５付近に働く力や横行結腸２２３に働く力などである。ループ形状の解除方法は、最適化演算（局所最適化手法または大域的最適化手法）により明らかにした操作方法である。このようにして学習されたニューラルネットワークモデル３１ＮＮＭは、図４のように構築される。

このようなニューラルネットワークモデル３１ＮＮＭを有する予測演算部３１を備える内視鏡装置１における挿入支援制御動作を、図５を参照して説明する。

まず、ファイバセンサ２０の光源２２は、光ファイバ２１へ光を入射させ、受光部２３は、光ファイバ２１に設けられた被検出部２６によって湾曲状態に応じて伝達量が変えられた光の光量を測定する（ステップＳ１１）。そして、ファイバセンサ２０の湾曲量演算回路２４は、受光部２３が測定した光量の変化から各被検出部２６における湾曲量を演算し、形状演算回路２５は、この湾曲量演算回路２４が演算した湾曲量に基づいて光ファイバ２１の形状つまり挿入部１１の形状を演算する（ステップＳ１２）。形状演算回路２５は、この演算した挿入部１１の形状を示す形状情報を予測演算部３１に入力する（ステップＳ１３）。

予測演算部３１は、ニューラルネットワークモデル３１ＮＮＭによって、最適な次のオペレータ操作である次操作情報を演算する（ステップＳ１４）。そして、予測演算部３１は、演算結果である次操作情報を出力回路３２に出力し、出力回路３２は、それを表示装置４０に表示させることで、オペレータに次にどのような操作を行うべきかを示す操作支援情報を呈示する（ステップＳ１５）。その後、上記ステップＳ１１より繰り返す。

こうして上記ステップＳ１１〜ステップＳ１５のルーチンを繰り返し実行していくことで、例えば、挿入部１１にループ形状が発生している時、その解除に望ましい形状が直線形状である際には、予測演算部３１は、以下のような次操作情報を演算して、操作支援情報を呈示することができる。すなわち、オペレータへ、まず「押す」という挿入操作が呈示され、その後に挿入部１１が円筒形状へと曲がり始めた際は、「硬度を変える」という硬度操作や「体位を変えさせる」という体位変換指示等が提供される。そして、挿入部１１がループ解除に望ましい形状になった際は、「右に捩じる」や「左に捩じる」等の捩り操作や、「押す」や「引く」といった挿入操作が、オペレータへ提供される。

こうして上記ステップＳ１１〜ステップＳ１５のルーチンを実行中に、例えば制御装置３０に設けた又は接続された図示しない入力スイッチ操作により、オペレータから終了指示が行われると、このルーチンを終了する。

以上のように、第１実施形態に係る管状挿入装置としての内視鏡装置１は、可撓管部である挿入部１１を被検体である大腸２００に挿入する管状装置である大腸内視鏡１０と、大腸２００内での挿入部１１の配置状態、例えば挿入部１１の形状情報、を検知するセンサであるファイバセンサ２０と、ファイバセンサ２０により検知された挿入部１１の形状情報と、挿入部１１の各形状情報に応じた大腸内視鏡１０の操作に関わる蓄積データと、に基づいて、大腸内視鏡１０の次に行うべき操作に関わる情報である次操作情報を演算する機械学習モデルであるニューラルネットワークモデル３１ＮＮＭを有する予測演算部３１と、予測演算部３１が演算した次操作情報を出力する出力回路３２と、を備える。

よって、本第１実施形態に係る管状挿入装置としての内視鏡装置１によれば、現在の挿入部１１の形状から最適な操作支援情報を取得できるため、挿入状況に応じた的確な操作情報を操作支援情報として出力可能となる。

例えば、大腸内視鏡検査においてＳ状結腸２２１部分の内視鏡挿入手技を習得するのは難しい。特に、経験の少ない不慣れなオペレータが可動腸管の屈曲部の先にある次の管腔に挿入部１１の先端を潜り込ませることは難しい。しかしながら、本実施形態によれば、内視鏡装置１が適切な挿入支援を提供することにより、オペレータの操作を容易にすることができる。よって、経験が少ないオペレータも熟練者のオペレータに近い操作ができるようになる。

なお、図３に示すニューラルネットワークモデル３１ＮＮＭでは、入力情報が形状情報となっている。入力情報としては、このように挿入部１１の形状情報をそのまま入力しても良いが、形状情報から算出された特徴的な形状などを入力するようにしても良い。この特徴的な形状は、例えば、挿入部１１の変曲点（湾曲方向が逆転する箇所）の数、各変曲点における曲率の大きさ、等を含む。また、形状情報以外の情報として、画像情報や硬度可変情報、アングル操作量などを入力するようにしても良い。

［第２実施形態］
本発明の第２実施形態について、図６乃至図８を参照して説明する。以下の説明では、第１実施形態と異なる部分を主に説明し、第１実施形態と同様の構成等は第１実施形態と同様の参照符号を付してその説明を省略する。

第１実施形態は、１つのニューラルネットワークモデル３１ＮＮＭで全ての動作を模擬するモデルであったが、１つのモデルで大腸２００全体について最適な操作支援情報を取得するためには、膨大なデータの学習量が必要となる。そこで、本第２実施形態では、ニューラルネットワークモデル３１ＮＮＭを、図２に示す大腸２００の各部に応じて、複数のニューラルネットワークモデルとして構築する。例えば、予測演算部３１は、図６に示すように、Ｓ−ｔｏｐ２２５付近に応じたＳ−ｔｏｐ付近モデル３１ＮＮＭ１、上行結腸２２４付近に応じた上行結腸付近モデル３１ＮＮＭ２、下行結腸２２２付近に応じた下行結腸付近モデル３１ＮＮＭ３、横行結腸付近２２３に応じた横行結腸付近モデル３１ＮＮＭ４、盲腸２３０付近に応じた盲腸付近モデル３１ＮＮＭ５、ＳＦ２２７付近に応じた脾彎曲付近モデル３１ＮＮＭ６、ＨＦ２２８付近に応じた肝彎曲付近モデル３１ＮＮＭ７、等を有する。

なお、未学習のデータすなわち初めての形状情報が形状演算回路２５から入力された時に、オペレータに適切でない操作を行わせないように、予測演算部３１は、シミュレーションモデル３１ＳＭにより、リアルタイムで、次に行うべき操作に関わる代替情報を演算するシミュレータなどを有しても良い。例えば、予測演算部３１は、シミュレーションモデルを用いて、大腸２００内に挿入されている挿入部１１の大腸２００との接触箇所に働く力量を算出し、この力量が小さくなる解除方法を、代替情報として演算する。

未学習のデータであるか否かは、例えば、ファイバセンサ２０により検知された挿入部１１の形状情報と、ニューラルネットワークモデル３１ＮＮＭの蓄積データとの照合度が低いかどうか、つまり、学習させた教示データとの乖離が大きいかどうかで、判断することができる。あるいは、各種形状とＮＧ形状を予め学習させたニューラルネットワークモデルを有しても良い。この場合には、次操作情報演算のためにニューラルネットワークモデル３１ＮＮＭに学習させた形状とは明らかに異なる形状などを意図的に何パターンか作り出して、学習させれば良い。

ここで、図７を参照して、本実施形態の内視鏡装置１における挿入支援制御動作を説明する。なお、ステップＳ２１〜ステップＳ２３は、第１実施形態におけるステップＳ１１〜ステップＳ１３と同様であるので、その説明は省略する。

予測演算部３１は、入力された挿入部１１の形状情報に基づいて、どのニューラルネットワークモデルが適用されるかを検討する（ステップＳ２４）。そして、適用されるニューラルネットワークモデルが有れば（ステップＳ２５のＹＥＳ）、予測演算部３１は、そのニューラルネットワークモデルを選択して挿入部１１の形状情報を入力し、そのニューラルネットワークモデルによって、最適な次のオペレータ操作である次操作情報を演算する（ステップＳ２６）。

これに対して、適用されるニューラルネットワークモデルが無ければ（ステップＳ２５のＮＯ）、予測演算部３１は、シミュレーションモデル３１ＳＭにより、最適ではないが、危険ではない、次のオペレータ操作である代替操作情報を演算する（ステップＳ２７）。なお、こうして得られた代替操作情報は、挿入部１１の形状情報に応じたニューラルネットワークモデルへ、新たな蓄積データつまり教示データとして登録するようにしても良い。

こうして、次操作情報または代替操作情報が演算されたならば、予測演算部３１は、その演算結果である次操作情報または代替操作情報を出力回路３２に出力し、出力回路３２は、それを表示装置４０に表示させることで、オペレータに次にどのような操作を行うべきかを示す操作支援情報を呈示する（ステップＳ２８）。その後、上記ステップＳ２１より繰り返す。

こうして上記ステップＳ２１〜ステップＳ２８のルーチンを実行中に、例えば制御装置３０に設けた又は接続された図示しない入力スイッチ操作により、オペレータから終了指示が行われると、このルーチンを終了する。

以上のように、第２実施形態に係る管状挿入装置としての内視鏡装置１によれば、予測演算部３１は、挿入部１１の配置状態例えば形状情報により選択される複数のニューラルネットワークモデル（３１ＮＮＭ１〜３１ＮＮＭ７）を有し、次操作情報を演算するのに使用するニューラルネットワークモデルを、ファイバセンサ２０により検知された大腸２００内での挿入部１１の形状情報に応じて切り替える。

このように、Ｓ−ｔｏｐ２２５など部位限定で有り得るパターンで構築したニューラルネットワークモデルを用いることで、より最適な次操作情報を演算でき、間違った操作指示を出す確率を減少させることができる。また、様々なオペレータの操作に合った最適な次操作情報を呈示することができる。さらに、各部位に合ったニューラルネットワークモデルであるため、１つのモデルに対して少量の蓄積データで高精度なニューラルネットワークモデルが構築できる。

なお、大腸２００の各部に応じたニューラルネットワークモデルを更に細分化し、オペレータの操作手技に応じたニューラルネットワークモデルを利用しても良い。例えば、Ｓ−ｔｏｐ付近モデル３１ＮＮＭ１であれば、挿入手技の一つとして知られているプッシュ法に応じたプッシュ法モデル３１ＮＮＭ１Ａ、挿入手技の一つとして知られている軸保持短縮法に応じた軸保持短縮法モデル３１ＮＮＭ１Ｂ、等を含む。挿入部１１の形状情報から、Ｓ−ｔｏｐ２２５付近において、オペレータがプッシュ法によるループ解除を狙っていると判断されれば、プッシュ法モデル３１ＮＮＭ１Ａが利用され、軸保持短縮法を狙っていると判断された場合は、軸保持短縮法ワークモデル３１ＮＮＭ１Ｂが利用されて、次操作情報が演算される。さらには、挿入部１１に発生するループ形状に応じたニューラルネットワークモデルを構築しても良い。例えば、Ｓ−ｔｏｐ付近モデル３１ＮＮＭ１であれば、αループ形状に応じたαループモデル３１ＮＮＭ１ａ等を含む。挿入部１１の形状情報からαループが発生していると判断されれば、αループモデル３１ＮＮＭ１ａが利用されて、次操作情報が演算される。

また、本実施形態によれば、予測演算部３１は、ファイバセンサ２０により検知された挿入部１１の形状情報の、蓄積データとの照合度が低い（学習させた教示データとの乖離が大きい）場合には、次操作情報の演算手法（ニューラルネットワークモデル）とは異なる演算手法（シミュレーションモデル）により、大腸内視鏡１０の次に行うべき操作に関わる代替情報を取得するバックアップ処理部３１ＢＵＰとしてのシミュレータなどを有する。これにより、未学習な形状情報が入力されても、オペレータに適切でない操作、特に、危険な操作を行わせることを無くすことができる。

また、本実施形態によれば、予測演算部３１は、ファイバセンサ２０により検知された挿入部１１の形状情報と上記代替情報とに基づいて、蓄積データの増強を行う登録部３１ＲＥＧを有する。よって、未学習データが入力されたとき、バックアップ処理部３１ＢＵＰによって演算された代替操作情報を、新たな学習データとして利用することが可能となる。

また、バックアップ処理部３１ＢＵＰは、熟練者のオペレータ等が未学習の操作を行い、新たに教示データ３１ＴＤを作成するものであっても良い。この教示データ３１ＴＤは、代替操作情報として経験が少ないオペレータに呈示されても良いし、登録部３１ＲＥＧによって、新たな学習データとして登録されても良い。なお、この登録は、オペレータのレベルに応じた登録ができるようにしても良い。例えば、このオペレータのレベルに応じた登録とは、ループ形状解除の際の挿入部１１の接触箇所に働く力である外力の力量に応じて、大きい場合は低いレベルの解除方法として登録し、外力が小さい場合は高いレベルの解除方法として登録するなどでも良い。

あるいは、バックアップ処理部３１ＢＵＰは、適切でない操作をオペレータに行わせないために、操作支援を行なわないようにしても良い。すなわち、バックアップ処理部３１ＢＵＰは、ファイバセンサ２０により検知された挿入部１１の形状情報の、蓄積データとの照合度が低い（学習させた教示データとの乖離が大きい）場合には、出力回路３２へ、演算不能の結果を出力し、出力回路３２は、この演算不能の結果が入力されたとき、その演算不能の結果を表示装置４０に出力しない、又は、次操作情報を出力することができないことを表示装置４０に呈示させる。

また、予測演算部３１が通信機能を備えていれば、バックアップ処理部３１ＢＵＰは、ネットワークＮＥＴを通じて、ハイパフォーマンスコンピュータなどにより、高速にループ解除演算を行わせるようにしても良い。すなわち、バックアップ処理部３１ＢＵＰは、ネットワークＮＥＴを介して、シミュレーションモデルＳＭを用いて代替情報を演算するサーバ装置に、代替情報の演算を要求し、ネットワークＮＥＴを介して、サーバ装置から演算結果である代替情報を受信する。この場合も、受信した代替情報を、出力回路３２を介してオペレータに呈示するだけでなく、登録部３１ＲＥＧにより、新たな学習データとして登録するようにしても良い。

あるいは、バックアップ処理部３１ＢＵＰは、ネットワークＮＥＴを通じて、形状情報などの情報をリアルタイムで、他のオペレータ、例えば操作に熟練した医師（Ｄｒ）などに送信し、他のオペレータからのフィードバック（Ｄｒ指示ＤＲ）を受け取っても良い。すなわち、バックアップ処理部３１ＢＵＰは、ネットワークＮＥＴを介して、代替情報を入力するための入力装置に、代替情報の送信を要求し、ネットワークＮＥＴを介して、入力装置から送信されてきた代替情報を受信する。この場合も、受信した代替情報を、出力回路３２を介してオペレータに呈示するだけでなく、登録部３１ＲＥＧにより、新たな学習データとして登録するようにしても良い。

それ以外にも、バックアップ処理部３１ＢＵＰは、ニューラルネットワークモデルを提供する提供者に、未学習データをネットワークＮＥＴを通じて送信し、その提供者のデータベースＤＢにストックさせることで、提供者が次回に提供するニューラルネットワークモデルのための教示データに利用されるようにしても良い。

バックアップ処理部３１ＢＵＰが上記の何れの動作を行うかは、例えば制御装置３０に設けた又は接続された図示しない入力スイッチ操作により、オペレータが選択できるようにしても良い。

なお、各ニューラルネットワークモデルへの分類は、形状情報によるディープラーニングではなく、その他の機械学習、例えばbag of words等のアルゴリズムによるケース分けでも良い。また、時系列のデータに基づいたモデル分類などでも良い。例えば、大腸２００であれば、挿入部１１は、Ｓ−ｔｏｐ２２５の後に、Ｓ状結腸２２１及び下行結腸２２２を通過してＳＦ２２７に到達するため、Ｓ−ｔｏｐ２２５の後にいきなりＳＦ２２７になることはない。よって、挿入量や時系列の順番などに沿って分類を行っても良い。このような構成とすることで、高精度にオペレータへ最適な操作支援を提供できる。

また、呈示する次操作情報又は代替操作情報については、大腸内視鏡１０を操作するオペレータのレベルに応じて、呈示有無も含めて、異なるようにしても良い。オペレータのレベルは、例えば制御装置３０に設けた又は接続された図示しない入力スイッチ操作により、切り替えられるようにしておくことが好ましい。

また、予測演算部３１は、演算した次操作情報に応じて、正しく操作が行われたか否かを判定する操作妥当性検証部３１ＶＡＬを備えても良い。そして、操作妥当性検証部３１ＶＡＬは、この判定の結果が否定の場合、別のニューラルネットワークモデルに切り替えて次操作情報を演算させる帰還経路を有する。この帰還経路は、操作の停止指示、または、操作の速度低減指示を含むことができる。

例えば、予測演算部３１は、入力された挿入部１１の形状情報に基づいてニューラルネットワークモデルを選択し、その選択されたモデルにて次操作情報を演算して、出力回路３２を介して表示装置４０に、次に行うべき操作の指示を支援情報として呈示する。これに応じてオペレータが操作を行うこととなる。操作妥当性検証部３１ＶＡＬは、図８に示すように、このオペレータ操作によってなるであろう、次操作情報に対応する形状情報と、ファイバセンサ２０が検知した大腸２００内での挿入部１１の実際の形状情報と、を比較検証する。両者が異なっていた場合、操作妥当性検証部３１ＶＡＬは、別のニューラルネットワークモデルを選択させる。また、例えば、癒着のあるときなどは、指示通りに操作しても、挿入部１１が進まないなどの現象が発生する。操作妥当性検証部３１ＶＡＬは、形状情報から挿入部１１が外部へ与える力量などを演算し、力量が大きすぎるなどのときは正しく操作が行われていないと判断し、そのケースに適した操作を指示するように、ニューラルネットワークモデルの選択が更新される。

このように、指示通りにオペレータが操作しない場合、あるいは、想定とは違った挿入状態となっても、いち早くフィードバックをかけることが可能となる。

また、予測演算部３１は、大腸内視鏡１０を操作するオペレータによる大腸内視鏡１０の操作を分析する分析部３１ＡＮＡを有しても良い。分析部３１ＡＮＡは、被検体である大腸２００の目的地点方向への挿入具合の良好性に基づいて、レベル付け、蓄積データ分類、などの解析を行う。ここで、挿入具合の良好性とは、スムーズであるか、速度が適切か、到達時間が適切か、見落としがないか、ループ形成がないか、ループ形成が小さいか、被検体への負荷が少ないか、画像判定による偶発症を発生していないか、画面先の進行阻害程度が小さいか、管腔を画像中心に捉えているか、大きな挿入部１１動作をさせていないか、などを含む。このレベル付けにより、ある形状情報に対して複数の次操作情報が演算されるとき、レベルの高いオペレータ操作に対応する次操作情報を優先的に呈示することができる。あるいは、病院等の患者の挿入難度に応じたオペレータの最適配置や、良質な操作を抽出、共有することによる、患者負担や医療の質向上への貢献、などの活用が可能となる。

この分析部３１ＡＮＡの結果に基づいて、登録部３１ＲＥＧは、蓄積データの増強を行うようにしても良い。これにより、次操作情報の呈示をあまり必要としない熟練のオペレータについては、次操作情報の演算機能を停止させ、蓄積データの増強の役割を担わせることで、システム全体の性能向上が図れる。

なお、バックアップ処理部３１ＢＵＰは、ファイバセンサ２０により検知された挿入部１１の形状情報と学習させた教示データとの乖離が大きいとき、未学習のデータが入力されたとして代替操作情報の演算を行うものとしたが、次操作情報の時系列的な連続性が絶たれていることを確認したときに、代替情報を演算するようにしても良い。例えば、ループ形状の解除のための操作を行っている最中に、その解除とは異なる操作が次操作情報として得られた場合などである。

［第３実施形態］
本発明の第３実施形態について、図９乃至図１２を参照して説明する。以下の説明では、第１実施形態と異なる部分を主に説明し、第１実施形態と同様の構成等は、第１実施形態と同様の参照符号を付してその説明を省略する。

第１実施形態では、予測演算部３１は、ニューラルネットワークモデル３１ＮＮＭなどの機械学習モデルを有していたが、本第３実施形態における予測演算部３１は、図９に示すように、それに代えてシミュレーションモデル３１ＳＭを有する。この場合は、操作量Δを加えた時の外力情報及び形状情報がどのように変化するかをシミュレーションモデル３１ＳＭより明らかにし、最適な操作方法を操作支援情報として呈示しても良い。なお、操作量とは、挿入部１１の挿入量や捩じり量等である。また、操作量は、挿入部１１が硬度可変部を有する場合には、硬度情報を含むことができる。ここで、操作量として硬度情報を用いる理由は、この値が変更されると、シミュレーションモデル３１ＳＭの剛性値が変更され、形状変化等への影響が現れることによる。

予測演算部３１は、例えば、挿入部１１の現在の形状がループ形状やスタック形状などである際、挿入部１１をその解除に望ましい形状とするために、どのような操作方法を行えば良いかをシミュレーションモデル３１ＳＭにより解析させる。望ましい形状とは、例えば、図１０に示すように、Ｎ字形状になっている挿入部１１を直線形状にする事などを指している。ループ形状の解除方法は、最適化演算（局所最適化手法、大域的最適化手法）により明らかにした操作方法である。

ここで、図１２を参照して、本実施形態の内視鏡装置１における挿入支援制御動作を説明する。なお、ステップＳ３１〜ステップＳ３３は、第１実施形態におけるステップＳ１１〜ステップＳ１３と同様であるので、その説明は省略する。

予測演算部３１においては、入力された挿入部１１の形状情報をシミュレーションモデル３１ＳＭに入力する（ステップＳ３４）。また、予測演算部３１は、操作量情報をシミュレーションモデル３１ＳＭに入力する（ステップＳ３５）。そして、シミュレーションモデル３１ＳＭにおいて、入力された形状情報と操作量情報とに基づく最適化演算を実行する（ステップＳ３６。この最適化演算により目標形状つまり望ましい形状が得られなかった場合には（ステップＳ３７のＮＯ）、上記ステップＳ３５に戻り、予測演算部３１は、シミュレーションモデル３１ＳＭに別の操作量情報を入力する。

このようなステップＳ３５〜ステップＳ３７のルーチンを繰り返すことで、最適化演算により目標形状つまり望ましい形状が得られたならば（ステップＳ３７のＹＥＳ）、予測演算部３１は、そのときの操作量情報を、演算結果である次操作情報として出力回路３２に出力し、出力回路３２は、それを表示装置４０に表示させることで、オペレータに次にどのような操作を行うべきか示す操作支援情報を呈示する（ステップＳ３８）。その後、上記ステップＳ３１より繰り返す。

こうして上記ステップＳ３１〜ステップＳ３８のルーチンを実行中に、例えば制御装置３０に設けた又は接続された図示しない入力スイッチ操作により、オペレータから終了指示が行われると、このルーチンを終了する。

シミュレーションモデル３１ＳＭは、リアルタイムに解析する必要があるため、入出力関係を近似式に変換した簡易なシミュレーションモデルとすることで、高速演算が可能である。

一方、詳細シミュレーションである有限要素法や機構解析はリアルタイムに演算することができない。そのため、シミュレーションモデル３１ＳＭは、図１１に示すように、入力情報に形状情報と各操作量Δ（場合により硬度情報も）を入力値とし、操作量Δ入力後の形状や管腔の内壁に接触した際にかかる挿入部１１の力量情報を出力値とした、ニューラルネットワークモデルを用いても良い。このニューラルネットワークモデルは、膨大なシミュレーションの入出力情報から、これらの関係をニューラルネットワークモデルとして作成したものである。

作成されたニューラルネットワークモデルは、高精度かつ高速演算可能なシミュレータとなるため、リアルタイムで収束演算ができ、オペレータへ挿入部１１の接触箇所に働く力が小さくなる解除方法を提供することができる。

以上のように、第３実施形態に係る管状挿入装置としての内視鏡装置１によれば、予測演算部３１は、シミュレーションモデル３１ＳＭにより次操作情報を演算し、それを操作支援情報として提示可能となる。

なお、本第３実施形態に係る管状挿入装置においても、第２実施形態と同様に、シミュレーションモデル３１ＳＭを被検体の各部に応じて細分化したりしても良い。

ここまで、大腸内視鏡１０を備えた内視鏡装置１を挙げて本発明の各実施形態を説明してきたが、本発明の管状挿入装置は内視鏡装置に限定されるものではなく、可撓管部を有する管状装置であれば良い。例えば、被検体として大腸２００以外の他の体腔を対象とした医療用内視鏡であっても良いし、配管などの管空やエンジンなどを対象とした工業用内視鏡であっても良い。

また、オペレータが可撓管部の挿入操作を行うものに限らず、可撓管部を自動で被検体に挿入するロボット技術などにも適用可能である。この場合、出力回路３２は、表示装置４０ではなく、またはそれに加えて、予測演算部３１が演算した次に行うべき操作に関わる情報をロボット制御部に出力することで、当該情報に基づく自動操作が可能となる。このように、管状装置を取り扱う取扱者は人間に限らず、機械であっても良い。

なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施しても良く、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。

Claims (15)

1. 可撓管部を被検体に挿入する管状装置と、
   前記被検体内での前記可撓管部の配置状態を検知するセンサと、
   前記センサにより検知された前記配置状態と、前記可撓管部の各配置状態に応じた前記管状装置の操作に関わる蓄積データと、に基づいて、機械学習モデルにより、前記管状装置の次に行うべき操作に関わる情報を次操作情報として演算して出力する予測演算部と、前記センサの出力により検知された前記配置状態に基づいて前記可撓管部に働く外力が小さくなる解除方法を生成するシミュレーションモデルを備え、前記センサにより検知された前記配置状態と前記蓄積データの乖離に基づいて前記機械学習モデルの有無を判定し、前記機械学習モデルが無い場合には、前記予測演算部が演算した前記次操作情報に代わって、前記シミュレーションモデルによって前記解除方法を生成し、該解除方法を代替情報として出力するバックアップ処理部と、前記予測演算部が演算した前記次操作情報又は前記代替情報を出力する出力回路と、
   を具備する、管状挿入装置。
2. 前記蓄積データは、前記可撓管部の前記被検体の内部及び外部の少なくとも一方での前記可撓管部の挿入状態に関わる情報である挿入状態情報に基づいて分析した結果である、請求項１に記載の管状挿入装置。
3. 前記蓄積データは、前記被検体に関わる情報である被検体情報に基づいて分析した結果である、請求項１に記載の管状挿入装置。
4. 前記機械学習モデルは、前記管状装置の操作に関わる前記蓄積データから構築される、請求項１に記載の管状挿入装置。
5. 前記予測演算部が演算する前記次操作情報は、前記可撓管部の捩じり方向の情報、前記可撓管部に設けられた能動湾曲部の湾曲方向の情報、前記可撓管部の前記被検体内への挿入量の情報、前記可撓管部が備える硬度可変部によって変更するべき前記可撓管部の硬さの情報、及び、前記被検体の体位変換の指示の情報、のうちの少なくとも一つを含む、請求項１に記載の管状挿入装置。
6. 前記予測演算部は、前記被検体内の前記可撓管部の挿入経路上で、前記被検体の部位毎に分類された複数の前記蓄積データを有し、前記センサにより前記被検体内で検知された形状情報により、該当する前記被検体の部位毎の前記蓄積データに切り替える、請求項１に記載の管状挿入装置。
7. 前記予測演算部は、演算した前記次操作情報に応じて、正しく操作が行われたか否かを判定する操作妥当性検証部を有する、請求項１に記載の管状挿入装置。
8. 前記予測演算部は、複数の前記機械学習モデルを有し、及び／又は前記シミュレーションモデルを有し、
   前記操作妥当性検証部は、前記判定の結果が否定の場合、前記予測演算部に別のモデルに切り替えて前記次操作情報を演算させる帰還経路を有する、請求項７に記載の管状挿入装置。
9. 前記操作妥当性検証部は、前記出力回路が出力した前記次操作情報に対応する前記可撓管部の配置状態と、前記センサが検知した前記被検体内での前記可撓管部の実際の配置状態とが異なることを比較検証する機能を有する、請求項７に記載の管状挿入装置。
10. 前記予測演算部は、前記センサにより検知された前記配置状態の、前記蓄積データとの照合度が低い場合には、前記出力回路へ演算不能の結果を出力し、
    前記出力回路は、前記予測演算部より前記演算不能の結果が入力されたとき、その演算不能の結果を出力しない、又は、前記予測演算部が演算した前記次操作情報を出力することができないことの出力を行う、請求項１に記載の管状挿入装置。
11. 前記バックアップ処理部は、
    ネットワークを介して、前記代替情報を入力するための入力装置に、前記代替情報の送信を要求し、
    前記ネットワークを介して、前記入力装置から送信されてきた前記代替情報を受信する、請求項１に記載の管状挿入装置。
12. 前記予測演算部は、前記管状装置を操作するオペレータのレベルに応じて、前記次操作情報を切り替える、請求項１に記載の管状挿入装置。
13. 前記予測演算部は、前記管状装置を操作するオペレータによる前記管状装置の操作を分析する分析部を更に有する、請求項１に記載の管状挿入装置。
14. 前記予測演算部は、前記分析部の結果に基づいて、前記蓄積データの増強を行う登録部を更に有する、請求項１３に記載の管状挿入装置。
15. 可撓管部を被検体に挿入する管状装置と、前記被検体内での前記可撓管部の配置状態を検知するセンサと、前記センサにより検知された前記配置状態と、前記可撓管部の各配置状態に応じた前記管状装置の操作に関わる蓄積データと、に基づいて、次操作情報を演算する機械学習モデル及び、前記センサの出力により検知された前記配置状態に基づいて前記可撓管部と前記被検体の接触箇所に働く力量が小さくなる解除方法を生成するシミュレーションモデルを備える制御装置と、表示装置とを備える管状挿入装置による操作支援方法であって、
    前記センサにより検知された前記配置状態と前記蓄積データの乖離に基づいて前記機械学習モデルの有無を判定し、前記機械学習モデルが無い場合には、前記次操作情報に代わって、前記シミュレーションモデルによって前記解除方法を生成し、該解除方法を代替情報としてバックアップし、前記演算した前記次操作情報又は前記代替情報を操作支援情報として表示部に提示する、ことを具備する、管状挿入装置による操作支援方法。

Images